亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定

redis的bigkey掃描腳本

標簽:
C#

    众所周知,redis里面的大key存在是非常危险的一件事情。因为最近的工作转移到中间件相关的工作,因此关注了一下bigkey的扫描方法。首先介绍一下阿里云提供的扫描脚本:

具体可见:https://yq.aliyun.com/articles/117042?t=t1

    我对这个脚本进行了一个压力测试,在redis的内存为15G,key的数量为2KW,ops为40K到80K之间,在这种情况下,阿里云的脚本完全不能跑成功(估计跑出来的时间以天为单位),主要原因是每确认一个key的情况,就需要与redis交互多次。因此,我对它的脚本进行了改造,加入了pipeline和debug object方法,脚本如下:

?

import sysimport redis  def find_big_key_normal(db_host, db_port, db_password, db_num):  client = redis.StrictRedis(host=db_host, port=db_port, password=db_password, db=db_num)  i=0  temp = client.scan(cursor=i,count=1000)  j =0  while temp[0]>0 :    i=temp[0]    j=j+len(temp[1])    try:      r = client.pipeline(transaction=False)      for k in temp[1]:        r.debug_object(k)      tempA = r.execute()      x = 0      for key in tempA:        length = key.get("serializedlength")        ##type = key.get("encoding")        if length > 10240 :          type = client.type(temp[1][x])          print temp[1][x], type,length        x=x+1    except :      print "a execption come"    temp = client.scan(cursor=i,count=1000)    if __name__ == '__main__':  if len(sys.argv) != 4:     print 'Usage: python ', sys.argv[0], ' host port password '     exit(1)  db_host = sys.argv[1]  db_port = sys.argv[2]  db_password = sys.argv[3]  r = redis.StrictRedis(host=db_host, port=int(db_port), password=db_password)  nodecount = 1  keyspace_info = r.info("keyspace")  for db in keyspace_info:    print 'check ', db, ' ', keyspace_info[db]    find_big_key_normal(db_host, db_port, db_password, db.replace("db", ""))

我对上面的脚本同样进行了一个压力测试,在redis的内存为15G,key的数量为2KW,ops为40K到80K之间,在这种情况下:

脚本10分钟跑完,完全可用。

    说明:阿里云的脚本是支持cluster的,我这个脚本是只支持单机的,大家有兴趣的可以自己去更改。

原文出处

點擊查看更多內容
TA 點贊

若覺得本文不錯,就分享一下吧!

評論

作者其他優質文章

正在加載中
  • 推薦
  • 評論
  • 收藏
  • 共同學習,寫下你的評論
感謝您的支持,我會繼續努力的~
掃碼打賞,你說多少就多少
贊賞金額會直接到老師賬戶
支付方式
打開微信掃一掃,即可進行掃碼打賞哦
今天注冊有機會得

100積分直接送

付費專欄免費學

大額優惠券免費領

立即參與 放棄機會
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號

舉報

0/150
提交
取消