目录
在生产过程中,想创建topic、查看所有topic、想查看某个topic 、想查看分区等,都需要写命令,能不能有一个图形化的界面,让我们操作呢?Kafka-Eagle 框架就可以监控 Kafka 集群的整体运行情况,在生产环境中经常使用。本文介绍的就是Kafka-Eagle 框架的安装部署。
一、环境准备
1、MySQL 环境准备
Kafka-Eagle 的安装依赖于 MySQL,MySQL 主要用来存储可视化展示的数据。所以要保证服务器上安装有MySQL。
2、Kafka 环境准备
(1) 关闭 Kafka 集群
确保集群中有kafka(如果未安装,请看我的往期博客,有kafka的安装部署),先将其关闭。
kf.sh stop
(2)修改/opt/installs/kafka3/bin/kafka-server-start.sh 命令中
cd /opt/installs/kafka3/bin/
vi kafka-server-start.sh
修改如下参数:
将大概28行位置的
修改为:
注意:修改之后在启动 Kafka 之前要分发到其他节点
# 这里我使用的是xsync.sh脚本分发的
xsync.sh /opt/installs/kafka3/bin/kafka-server-start.sh
二、Kafka-Eagle 安装
1、官网
https://www.kafka-eagle.org
2、上传解压
(1)上传压缩包 kafka-eagle-bin-2.0.8.tar.gz 到集群/opt/modules 目录
(2)解压到本地
tar -zxvf /opt/modules/kafka-eagle-bin-2.0.8.tar.gz
(3)将 efak-web-2.0.8-bin.tar.gz 解压至/opt/installs
cd /opt/modules/kafka-eagle-bin-2.0.8
tar -zxvf efak-web-2.0.8-bin.tar.gz -C /opt/installs/
3、修改名称
cd /opt/installs
mv efak-web-2.0.8/ efak
4、修改配置文件
找到/opt/installs/efak/conf下system-config.properties文件
cd /opt/installs/efak/conf/system-config.properties
vi system-config.properties
修改如下:
5、添加环境变量
修改完之后刷新环境变量:source /etc/profile
6、创建一个数据库
(1)查看mysql状态,确保是开着的
systemctl status mysqld
systemctl start mysqld
(2)在mysql上创建一个ke数据库
7、 启动
(1)注意:启动之前需要先启动 ZK 以及 KAFKA(我使用的是脚本启动)
zk.sh start
kf.sh start
(2)启动 efak
# 启动命令
ke.sh start
# 停止命令
ke.sh stop
查看mysql发现ke数据库多了许多表格:
三、查看可视化大屏
1、登录页面查看监控数据
通过端口号:8048进入可视化大屏
账号:admin 密码:123456
切记:假如访问不了,查看efak中的log日志,里面的错误特别的详细,绝对可以解决你的问题。
eagle 可以通过这个图形化界面管理Topic,查看kafka的集群的消息发送和消费情况,还可以操作zk.
2、要想可视化大屏有数据,要求:
(1)要开启消费者、生产者
(2)要想看到大屏数据,此处的JMX必须是上线状态
3、查看