0
点赞
收藏
分享

微信扫一扫

计算机设计大赛 垃圾邮件(短信)分类算法实现 机器学习 深度学习

黄昏孤酒 2024-01-31 阅读 12

kafka正确设置过期时间

背景

某天突然发现我的kafka中group_id消费记录不见了,特地查了下咋回事。众所周知新版本的kafka group_id消费的offset记录已经不存储在zookeeper上了,而是存储在__consumer_offsets 这个kafka内部自己管理的topic中,这个topic有50个分区。 毫无疑问估计是group_id offset存储也应该是有时间过期值的,于是专门查了查。

如何正确配置数据过期时间

需要两个参数结合,且最好配置的时间是一样的,下面是例子

#存储一年
log.retention.hours=8760   ->数据过期时间
offsets.retention.minutes=525600 ->group_id offset的消费位点过期时间。 换算成小时也是一年


举报

相关推荐

0 条评论