一、redis缓存常见问题说明
- 生产环境上你们的redis内存设置多少?
- 如何配置、修改redis的内存大小如果内存满了你怎么办
- redis清理内存的方式?定期删除和惰性删除了解过吗redis缓存淘汰策略有哪些?分别是什么?你用那个?
- redis的LRU了解过吗?请手写LRU算法?
- LRU和LFU算法的区别是什么?
二、Redis 内存满了怎么办?
2.1.redis默认内存是多少?如何查看和 修改呢?
2.1.1.查看 Redis 最大占用内存
打开redis配置文件,设置maxmemory参数,maxmemory是bytes字节类型,注意转换。
2.1.2.查看redis默认内存是多少?
注意,在64位系统下,最大内存设置为0表示不限制Redis内存使用
2.1.3.Redis内存在生存环境如何配置?
一般生产上如何配置:推荐Redis设置为最大物理内存的四分之三
2.1.4.如何修改redis内存设置
- 通过配置文件修改 (单位是 byte)
- 通过命令修改(零时修改,重启之后失效)
CONFIG SET maxmemory 104857600
2.1.4.如何查看redis内存使用情况
- info memory
- config get maxmemory
设置了maxmemory的选项,假如redis 内存使用达到上限,没有加上过期时间就会导致数据写满 maxmemory,这就需要内存淘汰策略
二、Redis 过期键的删除策略
如果一个键是过期的,那它到了过期时间之后并不是马上就从内存中被被删除,采用的策略有如下三种:
2.1.立即删除
Redis不可能时时刻刻遍历所有被设置了生存时间的key,来检测数据是否已经到达过期时间,然后对它进行删除。
立即删除能保证内存中数据的最大新鲜度,因为它保证过期键值会在过期后马上被删除,其所占用的内存也会随之释放。但是立即删除对cpu是最不友好的。因为删除操作会占用cpu的时间,如果刚好碰上了cpu很忙的时候,比如正在做交集或排序等计算的时候,就
会给cpu造成额外的压力,这种删除方式容易导致CPU长时间使用率过高,对于CPU不友好,属于使用CPU性能换取存储空间(拿时间换空间),并不推荐
2.2.惰性删除
惰性删除的原理在于:当有请求访问到了一个已到达过期时间且未被清理的数据时,Redis就会检测到这个过期数据并进行清除。
如图所描述的,当有外来的请求访问到该数据时,若检测到过期时间已经到达,Redis就会删除这个数据。惰性删除也有着一个缺陷,如果一些陈年老数据一直未被请求访问到, 则该数据可能永远都不会被删除。这时候内存占用会越来越高,甚至可以将这种情况看作是一种内存泄漏–无用的垃圾数据占用了大量的内存,而服务器却不会自己去释放它们,这对于运行状态非常依赖于内存的Redis服务器来说,肯定不是一个好消息。
惰性删除对 memory 不友好,用存储空间换取处理器性能(拿空间换时间),开启惰性删除修改Redis配置文件如下:
lazyfree-lazy-eviction=yes
2.3.定期删除
定期删除策略是前两种策略的折中:定期删除策略每隔一段时间执行一次删除过期键操作并通过限制删除操作执行时长和频率来减少删除操作对CPU时间的影响。
定期删除的原理在于:为数据设置一个过期时间。每过一个时间周期,Redis会随机遍历一部分数据,当检测到数据已经到达了过期时间后,Redis就会将这些数据清除掉。 (为什么是随机遍历:如果全部遍历,十分耗费时间,影响性能)
每过一个时间周期,Redis都会遍历一部分数据,并对这部分数据中到达了过期时间的数据进行清除。具体如上图所示。而从图中我们也可以看到该方法是存在一定的弊端的。因为是随机遍历一部分数据,所以可能会有些已过期但从来都没被遍历到的数据存在,而这些陈年老数据一直不会被清除,占用在内存中。
周期性轮询redis库中的时效性数据,采用随机抽取的策略,利用过期数据占比的方式控制删除频度
- 特点1:CPU性能占用设置有峰值,检测频度可自定义设置
- 特点2:内存压力不是很大,长期占用内存的冷数据会被持续清理
- 总结:周期性抽查存储空间 (随机抽查,重点抽查)
案例:
redis默认每隔100ms检查是否有过期的key,有过期key则删除。注意:redis不是每隔100ms将所有的key检查一次而是随机抽取进行检查(如果每隔100ms,全部key进行检查,redis直接进去ICU)。因此,如果只采用定期删除策略,会导致很多key到时间没有删除。
定期删除策略的难点是确定删除操作执行的时长和频率:如果删除操作执行得太频繁或者执行的时间太长,定期删除策略就会退化成立即删除策略,以至于将CPU时间过多地消耗在删除过期键上面。如果删除操作执行得太少,或者执行的时间太短,定期删除策略又会和惰性删除束略一样,出现浪费内存的情况。因此,如果采用定期删除策略的话,服务器必须根据情况,合理地设置删除操作的执行时长和执行频率。
三、Redis的缓存淘汰策略
在定期删除与惰性删除这套组合拳下,解决了极大部分的Redis清洁工作。但由于两者所存在的不足之处,很可能会出现永远没被删除的陈年且无用的老数据,这种数据很可能会随着业务的增加而越堆越多,这十分浪费我们宝贵的内存资源。在解决这个问题上,我们使用到了Redis所提供的内存淘汰策略,为完成Redis的清理补上最后的一块拼图。Redis一共提供了8种内存淘汰策略
3.1.缓存淘汰策略配置
使用Redis缓存淘汰策略时,首先在配置文件redis.conf 中,参数 maxmemory 来设定最大内存,当达到最大内存后就会触发内存淘汰策略。然后通过设置 maxmemory-policy 来指定使用哪种内存淘汰策略。如下图:
3.2.八种缓存淘汰方式
对于配置文件中缓存淘汰策略说明如下:
- noevicton:不会驱逐任何key,表示即使内存达到上限也不进行置换,所有能引起内存增加的命令都会返回error
- allkeys-lru:对所有key使用LRU算法进行删除,优先删除掉最近最不经常使用的key,用以保存新数据
- volatile-lru:对所有设置了过期时间的key使用LRU算法进行删除
- alkeys-random:对所有key随机删除
- volatile-random:对所有设置了过期时间的key随机删除
- volatle-ttl:删除马上要过期的key
- alkeys-lfu:对所有key使用LFU算法进行删除
- volatile-lfu:对所有设置了过期时间的key使用LFU算法进行删除
要说明的是上面8种策略,其实分四个维度查看:
- Random:随机
- ttl:过期时间
- LRU:最近最少使用页面置换算法,淘汰最长时间未被使用的页面,看页面最后一次被使用到发生调度的时间长短,首先淘汰最长时间未被使用的页面。
- LFU:最近最不常用页面置换算法,淘汰一定时期内被访问次数最少的页,看一定时间段内页面被使用的频率,淘汰一定时期内被访问次数最少的页
3.3.八种缓存淘汰方式如何选择?
工作选择策略如下:
- 在所有的 key都是最近最经常使用,那么就需要选择allkeys-Iru进行置换最近最不经常使用的key,如果你不确定使用哪种策略,那么推荐使用allkeys-lru
- 如果所有的key 的访问概率都是差不多的,那么可以选用allkeys-random 策略去置换数据
- 如果对数据有足够的了解,能够为key 指定hint(通过expire/ttl指定)),那么可以选择volatile-ttl进行置换
3.4.Redis配置缓存淘汰策略
Redis缓存配置淘汰策略有两种方式:
- 直接用config命令修改(零时修改,重启Redis后失效)
//修改淘汰策略为allkeys-lru
127.0.0.1:6379> config set maxmemory-policy allkeys-lru
OK
//查看当前淘汰策略
127.0.0.1:6379> config get maxmemory-policy
maxmemory-policy
allkeys-lru
127.0.0.1:6379>
- 直接redis.conf配置文件(永久有效)
3.5.Redis缓存淘汰策略配置性能
Redis缓存淘汰策略配置性能建议如下:
- 避免存储 bigkey
- 开启惰性淘汰 lazyfree-lazy-eviction=yes
- 在使用Redis的时候,key最好要设置过期时间,这样可以通过redis的过期策略降低key对内存空间的占用,同时也减少了运维成本,不需要手动清理过期key。