前言
本节内容我们主要介绍一下搭建kafka集群以及kafka集群的一个web客户端组件Kafka-Eagle的部署安装,使用的kafka版本是kafka_2.12-3.0.0。在搭建kafka集群之前,我们要预先搭建好zookeeper集群,这里作者默认zookeeper的集群环境已经搭建完成,可参考作者往期博客内容。新版本的kafka集群分为俩种搭建方式,一种依赖zookeeper,一种使用Kraft模式,本节内容我们主要介绍zookeeper模式的kafka集群搭建部署。
正文
①kafka高可用集群部署规划
hadoop101 | hadoop102 | hadoop103 |
---|---|---|
zookeeper | zookeeper | zookeeper |
kafka | kafka | kafka |
Kafka-Eagle |
②上传kafka安装包到hadoop101服务器/opt/software目录
③解压kafka安装包到/opt/module目录
④在/opt/module/kafka_2.12-3.0.0/config目录下修改kafka配置文件server.properties
⑤分发kafka安装包到hadoop102和hadoop103服务器,并修改其brokerid配置
⑥配置kafka环境变量
⑦将kafak安装包授权给hadoop用户,使用root用户启动kafka可以跳过此步骤
⑦使用hadoop用户启动zookeeper集群服务和kafak集群服务
⑧使用脚本启停kafka集群
⑨安装kafka客户端工具Kafka-Eagle监控
结语
至此,关于kafka集群及Kafka-Eagle控制台安装与部署到这里就结束了,我们下期见。。。。。。