0
点赞
收藏
分享

微信扫一扫

kafka分区策略

张宏涛心理 2022-03-17 阅读 69

分区策略

分区原因:

  1. 方便在集群中扩展,每个Partition可以通过调整以适应它所在的机器,而一个topic又可以有多个Partition组成,因此整个集群就可以适应任意大小的数据了;
  2. 可以提高并发,因为可以以Partition为单位读写了。

分区原则:

我们需要将producer发送的数据封装成一个ProducerRecord对象。

  1. 指明 partition 的情况下,直接将指明的值直接作为 partiton 值;
  2. 没有指明 partition 值但有key的情况下,将 keyhash 值与 topicpartition 数进行取余得到 partition 值;
  3. 既没有 partition 值又没有 key 值的情况下,第一次调用时随机生成一个整数(后面每次调用在这个整数上自增),将这个值与 topic 可用的 partition 总数取余得到 partition 值,也就是常说的 round-robin 算法。
举报

相关推荐

0 条评论