目录
Tpoic的分区和副本机制
分区
副本
消息存储机制和查询机制
消息存储机制
log文件和index文件的解析
index文件内容基本结构
查询机制
Kafka中生产者数据分发策略
生产者数据分发策略指的集市生产者生产的消息是如何保存到具体分区上
分发策略如下分类:
1.随机分发策略:将消息发到随机某个分区上,还是发送到Leader主副本上,python支持,java不支持
2.指定分区策略:将消息发到指定分区上面python支持,java不支持
3.Hash取模策略:对消息的key先取Hash值,再和分区数取模,python支持,java不支持
4.轮询策略:再kafka的2.4及以上版本,已经更名成粘性分发策略,python不支持,java支持
5.自定义分发策略:,python支持,java支持
随机分发策略
指定分区策略
Hash取模策略
自定义分区策略
轮询分发策略 和 粘性分发策略
Kafka消费者的负载均衡机制
数据不丢失机制
生产端保证消息不丢失
相关的参数
Broker端保证数据不丢失
消费端如何保证数据不丢失
Kafka的数据积压
数据持续在kafka集群中积压,也就是lag的值,一直在增大没有在减小,正常情况下,lag的值是来回波动的
