0
点赞
收藏
分享

微信扫一扫

Kafka初始,架构模型,角色功能梳理

月孛星君 2022-01-23 阅读 73

在这里插入图片描述
X轴对应单点问题,一台机器容易挂掉,那么就集群部署
Y轴主要解决的还是 性能问题,当数据量达到一定的时候,性能就下降,我们可以 根据业务来分集群
Z轴 就是kafka的Partition(分区),每个分区都有leader主机号
为了实现扩展性,一个非常大的 topic 可以分布到多个 broker(即服务器)上, 一个 topic 可以分为多个 partition,每个 partition 是一个有序的队列(MR的partition可以提高reducer的并发、Hive的partition有助于在查询时提高效率),这里的partition是有助于提高消息队列的负载均衡。

在这里插入图片描述
可以理解为一个topic就对应一个业务,topic对应是逻辑的,partition对应物理的
无关的数据就分散到不同的分区里,以追求并行并发

举报

相关推荐

0 条评论