Redis过期策略

Redis过期策略

（一）Redis内存删除过程

在服务器中内存是很宝贵很有限的,而硬盘是廉价而且有大量数据可用的,假设Redis最多能存10个G,如果你存了20个G的话,Redis会给10个G的数据干掉(不常用的数据干掉).只保留10个G的数据.

假如你给redis写入5G的内存的数据,设置了1个小时过期,等一个小时之后,虽然你查询是查不到过期的数据了,但是此时redis还是占用了5个G的内存.

redis采用的是定期删除和惰性删除
定期删除
定期删除是Redis默认每隔100毫秒就随机抽取一些设置过期时间的key,检查是否过期,如果过期就删除,注意,不是每隔100毫秒就循环遍历所有的设置过期时间的key,如果这样的话就是一场灾难(CPU负载消耗很高的).
惰性删除
但是定期删除可能会导致很多过期的key到了过期时间没有被删除,就是惰性删除,就是说你再获取某个key的时候,redis会检查一下,这个key如果设置了过期时间,看看是否过期了,如果过期了就删除.

内存淘汰机制
惰性删除又有问题,如果你不查询的话,那些设置过期时间的key可能就不会被完全删除,然后就是没设置过期时间的key也在占用内存,如果内存太多的话,此时就会触发内存淘汰机制.
触发内存淘汰机制的话,redis会主动删除一些数据,给内存腾出来,然后给新的数据写入.

（二）内存淘汰策略

全局的键空间选择性移除

noeviction(默认策略)：当内存不足以容纳新写入数据时，新写入操作会报错。这个一般没人用
allkeys-lru：当内存不足以容纳新写入数据时，在键空间中，移除最近最少使用的key。(使用LRU算法进行淘汰)（这个是最常用的）
allkeys-random：当内存不足以容纳新写入数据时，在键空间中，随机移除某个key。
设置过期时间的键空间选择性移除

volatile-lru：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，移除最近最少使用的key(使用LRU算法进行淘汰)。
volatile-random：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，随机移除某个key。
volatile-ttl：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，有更早过期时间的key优先移除。

当使用volatile-lru、volatile-random、volatile-ttl这三种策略时，如果没有key可以被淘汰，则和noeviction一样返回错误

1．如何获取及设置内存淘汰策略

获取当前内存淘汰策略：

127.0.0.1:6379> config get maxmemory-policy

通过配置文件设置淘汰策略（修改redis.conf文件）：

maxmemory-policy allkeys-lru

通过命令修改淘汰策略：

127.0.0.1:6379> config set maxmemory-policy allkeys-lru

（三）定时删除

每个设置过期时间的key都需要创建一个定时器，到过期时间就会立即清除。该策略可以立即清除过期的数据，对内存很友好；但是会占用大量的CPU资源去处理过期的数据，从而影响缓存的响应时间和吞吐量。

1) 含义：在设置key的过期时间的同时，为该key创建一个定时器，让定时器在key的过期时间来临时，对key进行删除
2) 优点：保证内存被尽快释放
3) 缺点：若过期key很多，删除这些key会占用很多的CPU时间，在CPU时间紧张的情况下，CPU不能把所有的时间用来做要紧的事儿，还需要去花时间删除这些key. 定时器的创建耗时，若为每一个设置过期时间的key创建一个定时器（将会有大量的定时器产生），性能影响严重

（四）懒汉式式删除

只有当访问一个key时，才会判断该key是否已过期，过期则清除。该策略可以最大化地节省CPU资源，却对内存非常不友好。极端情况可能出现大量的过期key没有再次被访问，从而不会被清除，占用大量内存。

1) 含义：key过期的时候不删除，每次通过key获取值的时候去检查是否过期，若过期，则删除，返回null。
2) 优点：删除操作只发生在通过key取值的时候发生，而且只删除当前key，所以对CPU时间的占用是比较少的，而且此时的删除是已经到了非做不可的地步（如果此时还不删除的话，我们就会获取到了已经过期的key了）
3) 缺点：若大量的key在超出超时时间后，很久一段时间内，都没有被获取过，那么可能发生内存泄露（无用的垃圾占用了大量的内存）

（五）定期删除

每隔一定的时间，会扫描一定数量的数据库的expires字典中一定数量的key，并清除其中已过期的key。该策略是前两者的一个折中方案。通过调整定时扫描的时间间隔和每次扫描的限定耗时，可以在不同情况下使得CPU和内存资源达到最优的平衡效果。

1) 含义：每隔一段时间执行一次删除过期key操作
2) 优点：通过限制删除操作的时长和频率，来减少删除操作对CPU时间的占用–处理”定时删除”的缺点
3) 缺点：在内存友好方面，不如”定时删除”（会造成一定的内存占用，但是没有懒汉式那么占用内存） 在CPU时间友好方面，不如”懒汉式删除”（会定期的去进行比较和删除操作，cpu方面不如懒汉式，但是比定时好）
4) 难点：合理设置删除操作的执行时长（每次删除执行多长时间）和执行频率（每隔多长时间做一次删除）（这个要根据服务器运行情况来定了），每次执行时间太长，或者执行频率太高对cpu都是一种压力。每次进行定期删除操作执行之后，需要记录遍历循环到了哪个标志位，以便下一次定期时间来时，从上次位置开始进行循环遍历
5) 说明：memcached只是用了惰性删除，而redis同时使用了惰性删除与定期删除，这也是二者的一个不同点（可以看做是redis优于memcached的一点）；对于懒汉式删除而言，并不是只有获取key的时候才会检查key是否过期，在某些设置key的方法上也会检查（eg.setnx key2 value2：该方法类似于memcached的add方法，如果设置的key2已经存在，那么该方法返回false，什么都不做；如果设置的key2不存在，那么该方法设置缓存key2-value2。假设调用此方法的时候，发现redis中已经存在了key2，但是该key2已经过期了，如果此时不执行删除操作的话，setnx方法将会直接返回false，也就是说此时并没有重新设置key2-value2成功，所以对于一定要在setnx执行之前，对key2进行过期检查）。

（六）Redis采用的过期策略

懒汉式删除+定期删除
懒汉式删除流程：1)在进行get或setnx等操作时，先检查key是否过期；2)若过期，删除key，然后执行相应操作；3)若没过期，直接执行相应操作；4)定期删除流程（简单而言，对指定个数个库的每一个库随机删除小于等于指定个数个过期key）：5)遍历每个数据库（就是redis.conf中配置的”database”数量，默认为16）6)检查当前库中的指定个数个key（默认是每个库检查20个key，注意相当于该循环执行20次，循环体是下边的描述）7)如果当前库中没有一个key设置了过期时间，直接执行下一个库的遍历8)随机获取一个设置了过期时间的key，检查该key是否过期，如果过期，删除key
9)判断定期删除操作是否已经达到指定时长，若已经达到，直接退出定期删除。
对于定期删除，在程序中有一个全局变量current_db来记录下一个将要遍历的库，假设有16个库，我们这一次定期删除遍历了10个，那此时的current_db就是11，下一次定期删除就从第11个库开始遍历，假设current_db等于15了，那么之后遍历就再从0号库开始（此时current_db==0）

（七）Redis对过期的数据怎么处理

除了缓存服务器自带的缓存失效策略之外（Redis默认的有6中策略可供选择），我们还可以根据具体的业务需求进行自定义的缓存淘汰，常见的策略有两种：

定时去清理过期的缓存；

当有用户请求过来时，再判断这个请求所用到的缓存是否过期，过期的话就去底层系统得到新数据并更新缓存。

两者各有优劣，第一种的缺点是维护大量缓存的key是比较麻烦的，第二种的缺点就是每次用户请求过来都要判断缓存失效，逻辑相对比较复杂！具体用哪种方案，大家可以根据自己的应用场景来权衡。

（八）如何保证缓存与数据库双写时的数据一致性？

你只要用缓存，就可能会涉及到缓存与数据库双存储双写，你只要是双写，就一定会有数据一致性的问题，那么你如何解决一致性问题？

一般来说，就是如果你的系统不是严格要求缓存+数据库必须一致性的话，缓存可以稍微的跟数据库偶尔有不一致的情况，最好不要做这个方案，读请求和写请求串行化，串到一个内存队列里去，这样就可以保证一定不会出现不一致的情况

串行化之后，就会导致系统的吞吐量会大幅度的降低，用比正常情况下多几倍的机器去支撑线上的一个请求。

还有一种方式就是可能会暂时产生不一致的情况，但是发生的几率特别小，就是先更新数据库，然后再删除缓存。