如果说独立和自由是人类所向往的,那么极简和自由则是一款软件的追求。
凭借着高吞吐、低延迟的优势深受众多公司青睐的分布式消息队列框架Kafka多年来却重度依赖Zookeeper才能运行,不仅处处缩手缩脚,而且给运维人员的工作带来了不少负担。
在Kafka3以前,如果没有zookeeper,Kafka将无法运行
管理部署两个不同的系统使得运维复杂度翻倍
zookeeper的分区特性限制了Kafka的承载能力
而Kafka3的诞生意味着独立和自由的新时代到来了。
- 去除ZooKeeper后,Kafka集群的运维复杂性直接减半
一个最小的分布式Kafka集群以往需要六个异构节点,现如今在新版本中,只需要三个节点,而Quickstart演示只需要一个Kafka进程。
- 集群的延展性、Kafka单集群可承载的分区数量大大增加
数据表明,一个可以管理两百万分区的集群中,新版本中Quorum Controller的迁移过程可以从几分钟缩小至30秒,突破了限制Kafka集群范围的元数据管理这个主要瓶颈。
百万分区情况下,Kafka2和Kafka3的启动以及停机时间对比
技术领域各类软件的迭代升级实属寻常,但Kafka3的到来在业界却堪称消息系统的一场革命。
Apache Kafka3.0不仅引入了各种新功能,API实现了突破性更改,同时还改进了KRaft——Apache Kafka的内置共识机制将取代 Apache ZooKeeper。
现如今广大技术人对这一新版本大多处于一知半解的状态,对Kafka3.0的新特性和源码机制更是知之甚少。
为了帮助广大Java开发工程师、大数据研发工程师、架构师对Kafka3.0的新特性有更加深入的认识并能够做到灵活运用,高效提升工作效率,前中国移动研究院大数据工程师王超老师打造了《Kafka3新特性及源码剖析》在线专栏课,2天时间,带你掌握时下最前沿的大数据核心技术,独家揭秘Kafka3的新特性,深入解读源码设计,解析元数据一致性算法,领略Kafka3架构设计之美,获悉系统性能提升的破局之道。