文章目录

• 常用数据结构实战和底层分析
• • String
  • • 使用场景
    • 底层结构
  • hash
  • • 使用场景
    • 底层结构
  • list
  • • 使用场景
    • 底层结构
  • set
  • • 使用场景
    • 底层结构
  • zset
  • • 使用场景
    • 底层结构

常用数据结构实战和底层分析

redis的常用命令不在展示，可以通过help命令进行查看。比如help @数据类型 可以查看对应的api命令

String

使用场景

单值缓存
例如缓存商品编号为1001的价格 ：set goods:1001 28.5
对象缓存

1. set user:1 value( user的json格式数据) 也可以通过hash进行对象缓存
2. mset user1:name zz user1:age 18 user1:sex 1 user1:balance 1000

这两种有什么区别，第一种在于简单，但是如果对象的字段很多，每次需要修改部分字段，那么第二种会更好
分布式锁
setnx goods:1001 存在相同的key 会set失败
设置分布式锁并且设置超时时间
set goods:1002 1 ex 60 nx
计数器功能
比如博客文章的阅读量、点赞数、收藏数等等，每次有人阅读 incr auth_aa:article_test:readcount 对对应的key进行+1
web集群的session共享
spring session + redis 实现session共享
全局唯一性id
incr orderid 如果每次获取id就进行一次redis的交互，那么redis的压力非常大。可以通过批量生成id来提升性能。比如incrby orderid 10000 每次一次性的获取一万个id到本机的内存，然后在本机的内存中进行++操作。
亿级日活统计
每天上亿的访问量，如何统计一天的用户登录情况。类似这种只有两种状态的(登录、未登录)都可以用bitmap来表示
bitmap默认为0 只有0和1两种数据 这样一个字节就有8个bit 就能表示8个用户的登录状态 0表示未登录 1表示登录
例如 统计今天的用户登录情况 用今天的日期作为key login_20220426 使用用户的id作为偏移量 这里用户的id就得是整形。
比如用户id为5 今天登录过了 那么SETBIT login_20220426 5 1 其他用户同理。
查询用户id为81的用户是否今天登录过 GETBIT login_20220426 81
统计有多少用户登录：BITCOUNT login_20220426
统计连续登录情况
还是使用bitmap 比如连续登录两天进行统计，把两天的bitmap进行位的与(&)运算 得到新的bitmap ，在统计新的bitmap即可
如果统计周活的 七天的bitmap进行位的或(|)运算 在统计得到的bitmap
bitmap的位运算：BITOP and login_25-26 login_20220425 login_20220426 and:表示运算符 login_25-26：新的bitmap的名称 剩下就是需要运算的key

底层结构

redis 是用C语言来写的，在C语言中表示字符串采用chat数组，redis定义了一种数据类型sds表示字符串
SDS(simple dynamic string)，它的数据结构

SDS:
  #可剩余空间
  free:0
  #字符串长度
  len: 5
  #字符串
  chat[]='china'  ->(扩容成) china123

那么就会计算出addlen：3，通过(len+addlen)*2 = 16

SDS:
  free:8
  len:8
  chat[]= 'china123'

后续扩容的时候会判断可用空间够不够，如果足够就不会进行扩容。当字符串定义完后会自动在末尾加上\0,这样可以兼容C语言的函数库
SDS特点：

1. 二进制安全的数据结构
2. 提供了内存预分配机制、避免内存频繁分配
3. 兼容C语言函数库

redis3.2以前结构：

struct sdshdr {
    int len;
    int free;
    char buf[]; //具体数据的存储
};

3.2以后的数据结构

redis所有的数据类型都封装成了redisobject对象，其中type表示对应的数据类型、encoding表示对应的类型编码 ptr指向具体的数据

即使使用了string类型，但是底层编码也会有所不同

使用type命令查看它们的类型都是string类型

使用encoding查看它们的编码

String类型的底层编码就是这三种了。raw的编码就是sds的结构，embstr是对raw的优化 在value的长度较小的时候可以直接放到缓存行中 减少读取的IO

hash

使用场景

对象缓存
hmset user 1:name zhangsan 1:age 18 2:name lisi 2:age 19 在user这个map中缓存了用户id 分别为1和2的用户信息。然后可以通过hgetall user 获取所有的用户信息
购物车操作
用户id1001 的购物车 作为key ：shopping_cart:1001
想往购物车添加1个商品id为111 的商品 hset shopping_cart:1001 111 1
继续添加商品为122 的商品 hset shopping_cart:1001 122 1
增加商品111的数量 +2 hincrby shopping_cart:1001 111 2
获取购物车商品类型总数：hlen shopping_cart:1001
获取购物车111商品的数量：hget shopping_cart:1001 111
获取购物车所有信息：hgetall shopping_cart:1001
删除购物车111的商品：hdel shopping_cart:1001 111

底层结构

Hash 数据结构底层实现为一个字典( dict ),也是RedisBb用来存储K-V的数据结构,当数据量比较小，或者单个元素比较小时，底层用ziplist存储，数据大小和元素数量阈值可以通过如下参数设置。

hash-max-ziplist-entries  512    //  ziplist 元素个数超过 512 ，将改为hashtable编码 
hash-max-ziplist-value    64      //  单个元素大小超过 64 byte时，将改为hashtable编码

当数据量小的时候


当数据量大或者单个数据大的时候

ziplist的结构在list中会讲到。hashtable 就是dict



dictEntry存放的就是具体的数据

从底层结构来说，如果对象的字段很多 数据选型选择string的话 ，因为set key value key value ，这样每个字段就对应了一个key。如果key很多会导致数据扩容，频繁进行rehash(渐进式扩容)。
如果选择hash 那么hset key file value 这个形式 key 就只有一个。但是key只有一个的话，如果增加过期时间只能整体数据增加过期时间。就是选择hash还是string的权衡。

list

使用场景

实现常用的数据结构
Stack(栈) = LPUSH + LPOP
Queue(队列）= LPUSH + RPOP
Blocking MQ(阻塞队列）= LPUSH + BRPOP
微博、微信公众号信息流
比如微信订阅了一些公众号，每次公众号有新的消息都会推送到订阅列表中，而且按时间排序，新的消息都会排序到顶端。那么这个功能可以通过list来实现。
比如我订阅了 A 、B 、C三个公众号，那么这三个公众号要是有新的消息要怎么推送到我的微信上呢
首先redis中定义一个 自己的微信公众号信息的list key为： msg:1001 然后ABC也都有自己的list msg:A等等
A发布了一个消息id为333的消息 通过lpush msg:1001 333
B发布了一个消息id为2525的消息 通过lpush msg:1001 2525
c发布了一个消息id为2678的消息 通过lpush msg:1001 2678
把信息展示到微信上就是lrange msg:1001 0 3 等到的信息id就是

再把对应的信息查出来展示即可
当然了如果公众号的订阅人数比较多的话，就需要优化了 。比如先给在线的人发送，但是如果订阅的人数很多，在线的人数也很多，那么可以通过pull方式 去订阅的公众号中获取消息，然后在排序等等。对于如何优化不展开讨论

底层结构

List是一个有序(按加入的时序排序)的数据结构，Redis采用quicklist（双端链表） 和 ziplist 作为List的底层实现
ziplist的数据结构：

zlbytes 占4个字节 表示ziplist占用的字节总数
zltail占4个字节 表示ziplist表中存放数据最后一项，用于找到最后一个数据进行往前面遍历
zlen占2个字节 表示ziplist中数据项（entry）的个数
颜色不同的那块是数据项 entry。

• prerawlen: 前一个entry的数据长度。
• len: entry中数据的长度
• data: 真实数据存储

zlend：ziplist最后1个字节，是一个结束标记，值固定等于255
list并不是所有数据都存放在entry中，而是拆分成多个ziplist ，通过quicklist连接起来

quicklist的head 表示头节点 tail表示尾节点 每一个节点有着双向指针prev、next。zl存放的就是ziplist。如果想要优化这list
减少ziplist存储的数据，如果ziplist的数据过大，操作会影响性能。通过redis.conf 中修改配置 list-max-ziplist-size -2 一般不需要修改。
还有就是可以把 quicklist 的节点进行压缩。通过redis.conf 中修改配置list-compress-depth 1

list-max-ziplist-size  -2        //  单个ziplist节点最大能存储  8kb  ,超过则进行分裂,将数据存储在新的ziplist节点中
list-compress-depth  1        //  0 代表所有节点，都不进行压缩，1， 代表从头节点往后走一个，尾节点往前走一个不用压缩，其他的全部压缩，2，3，4 ... 以此类推

set

使用场景

去重
去掉集合或者数组的重复的值 ，遍历数组或者集合然后把值通过sadd，然后通过smembers获取去重后的值
抽奖活动
假设抽奖活动id为act:100
点击抽奖添加到抽奖名单中，比如用户id为100点击加入抽奖 sadd act:100 100 其他用户同理
查看抽奖用户有哪些 SMEMBERS act:100

开始抽奖，比如抽三等 3 个然后 把这三个剔除掉：spop act:100 3
在抽二等奖 然后把两个去掉：spop act:100 2
最后抽一等奖：spop act:100 1
消息点赞、收藏、标签等
点赞：SADD msg:{消息ID} {用户ID} sadd msg:1001 1
取消点赞：srem msg:1001 1
检查用户是否点过赞：SISMEMBER msg:1001 5
获取点赞的用户列表：SMEMBERS msg:1001
统计点赞用户数：scard msg:1001
集合的操作
并集：SUNION set1 set2 set3
交集：SINTER set1 set2 set3
差集：SDIFF set1 set2 set3 用第一个集合减去 后面所有集合的交集 得到的不重复的值
通过set集合操作实现关注模型
我关注的人 ： a b c d sadd me a b c d
张三 关注的人： b c e f g t sadd zhangsan b c e f g t
c关注的人 ： g f 张三 sadd c g f zhangsan
我和张三共同关注的人：SINTER me zhangsan
我关注的人也关注他：通过判断 我关注的人中是否有人关注了张三
SISMEMBER a zhangsan SISMEMBER b zhangsan SISMEMBER c zhangsan 。。。
我可能认识的人：通过张三查看我可能认识的人 SDIFF zhangsan me

底层结构

Set 为无序的，自动去重的集合数据类型，Set 数据结构底层实现为一个value 为 null 的 字典( dict ),当数据可以用整形表示时，Set集合将被编码为intset数据结构。
两个条件任意满足时Set将用hashtable存储数据。

1. 元素个数大于 set-max-intset-entries ,
2. 元素无法用整形表示

set-max-intset-entries 512 // intset 能存储的最大元素个数，超过则用hashtable编码

typedef struct intset {
    uint32_t  encoding;
    uint32_t  length;
    int8_t      contents[];
} intset; 
# 元素个数超出后首先进行升级 超过阀值后变成hashtable
#define INTSET_ENC_INT16 (sizeof(int16_t))
#define INTSET_ENC_INT32 (sizeof(int32_t))
#define INTSET_ENC_INT64 (sizeof(int64_t))

zset

help @sorted_set

使用场景

zset集合操作
分值正序：ZRANGE news:20220401 0 4 withscores
分值倒序：ZREVRANGE news:20220401 0 4 withscores
定义三个zset集合：zadd test1 10 v1 20 v2 30 v3 zadd test 5 v1 5 v2 5 v3 10 v4 zadd test2 10 v5
聚合函数sum的交集：ZUNION 2 test1 test AGGREGATE SUM WITHSCORES 直接返回结果
ZUNIONSTORE test:sum 2 test1 test AGGREGATE SUM 返回一个新的集合test:sum 结果都是一样的

聚合函数sum的并集：ZINTER 2 test1 test AGGREGATE SUM WITHSCORES
ZINTERSTORE test:sum1 2 test1 test AGGREGATE SUM

其他的max 、min同理

排行榜
设置一条新闻id为20220401的新闻 ZADD news:20220401 1 20220401
获取该新闻的热度：ZSCORE news:20220401 20220401
每次点击该新闻热度+1 ZINCRBY news:20220401 1 20220401
删除新闻：ZREM news:20220401 20220401
获取新闻集合中的新闻的个数 ：ZCARD news:20220401
七日搜索榜单计算：ZUNIONSTORE news:20220401-20220407 7 key1 key2 ...key7 AGGREGATE SUM
展示七日排行前十：ZREVRANGE news:20220401-20220407 0 9 WITHSCORES
延迟队列
使用sorted_set，使用 【当前时间戳 + 需要延迟的时长】做score, 消息内容作为元素,调用zadd来生产消息，消费者使用zrangbyscore获取当前时间之前的数据做轮询处理。消费完再删除任务 rem key member

底层结构

ZSet 为有序的，自动去重的集合数据类型，ZSet 数据结构底层实现为 字典(dict) + 跳表(skiplist) ,当数据比较少时，用ziplist编码结构存储。


如上图使用ziplist存储，会把value和score分开存储
跳表：

说白了 跳表底层存储是用链表存储，把链表相隔一定距离的节点提取出来作为索引层，也即是层高。往上一层的层高，又从下面的层高根据一定的距离提取节点作为索引层，以此类推。查询数据的时候从最高层的进行查找。