0
点赞
收藏
分享

微信扫一扫

Redis7 BigKey

1、MoreKey

1.1、大数据模拟

往redis插入大量数据进行测试
for((i=1;i<=100*10000;i++)); do echo "set k$i v$i" >> /tmp/redisTest.txt ;done;
通过redis提供的管道--pipe命令插入100W大批量数据
cat /tmp/redisTest.txt | /opt/redis-7.0.0/src/redis-cli -h 127.0.0.1 -p 6379 -a 111111 --pipe

1.2、keys *

Redis7 BigKey_数组

1.3、如何限制keys *

Redis7 BigKey_迭代_02

1.4、scan遍历

Redis7 BigKey_redis_03

Redis7 BigKey_迭代_04

SCAN 命令是一个基于游标的迭代器,每次被调用之后,都会向用户返回一个新的游标,用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数,以此来延续之前的迭代过程。
SCAN 返回一个包含两个元素的数组, 
第一个元素是用于进行下一次迭代的新游标, 
第二个元素则是一个数组, 这个数组中包含了所有被迭代的元素。如果新游标返回零表示迭代已结束。

SCAN的遍历顺序
非常特别,它不是从第一维数组的第零位一直遍历到末尾,而是采用了高位进位加法来遍历。
之所以使用这样特殊的方式进行遍历,是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。

Redis7 BigKey_redis_05

2、BigKey

2.1、多大的算BigKey

Redis7 BigKey_redis_06

string是value,最大512MB,但是>=10KB就是bigkey

list、hash、set和zset个数超过5000就是bigkey
list:一个列表最多可以包含2^32-1个元素(4294967295,每个列表超过40亿个元素)
hash:redis中每个hash可以存储2^32-1键值对(40多亿)
set:集合中最大的成员数为2^32-1(4294967295,每个集合可存储40多亿个成员)

2.2、危害

内存不均,集群迁移困难
超时删除,大key删除作梗
网络流量阻塞

2.3、如何产生

社交类,粉丝列表逐步递增
汇总统计,经年累月的积累

2.4、如何发现

Redis7 BigKey_数组_07

redis-cli --bigkeys
优点
给出每种数据结构Top 1 bigkey,同时给出每种数据类型的键值个数+平均大小

不足
想查询大于10kb的所有key,--bigkeys参数就无能为力了,需要用到memory usage来计算每个键值的字节数
redis-cli --bigkeys -a 111111 
redis-cli -h 127.0.0.1 -p 6379 -a 111111 --bigkeys
每隔 100 条 scan 指令就会休眠 0.1s,ops 就不会剧烈抬升,但是扫描的时间会变长
redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1

Redis7 BigKey_数组_08

memory usage 键

2.5、如何删除

Redis7 BigKey_redis_09

string

一般用del,如果过于庞大unlink

hash

使用hscan每次获取少量field-value,再使用hdel删除每个field

Redis7 BigKey_迭代_10

list

使用ltrim渐进式逐步删除,直到全部删除完成

Redis7 BigKey_redis_11

set

使用sscan每次获取部分元素,再使用srem命令删除每个元素

Redis7 BigKey_迭代_12

zset

使用zscan每次获取部分元素,再使用ZREMRANGEBYRANK命令删除每个元素

Redis7 BigKey_迭代_13

3、BigKey生产调优

redis.conf配置文件LAZY FREEING相关说明

阻塞和非阻塞删除命令

Redis7 BigKey_redis_14

优化配置

Redis7 BigKey_redis_15

举报

相关推荐

0 条评论