Kafka-2.4.1集群部署文档

Kafka-2.4.1集群部署文档​

操作用户：hadoop

操作目录：/home/hadoop/apps

操作机器：hadoop1

集群机器：hadoop1,hadoop2,hadoop3

1. ​部署前提条件​

1) 关闭各节点防火墙，selinux

2) 各节点安装JDK

3) 搭建zookeeper集群环境，并启动

2. ​下载安装包​

wget https://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz

3. ​解压​

tar -zxvf kafka_2.12-2.4.1

4. ​修改配置文件​

cd kafka_2.12-2.4.1
vim config/server.properties
broker.id=0
listeners=PLAINTEXT://hadoop1:9092
log.dirs=/usr/local/kafka/logs

各个集群上都创建日志存放路径

mkdir -p /usr/local/kafka/logs

5. ​分发目录​

scp -r /home/hadoop/apps/kafka_2.12-2.4.1 hadoop2:/home/hadoop/apps
scp -r /home/hadoop/apps/kafka_2.12-2.4.1 hadoop3:/home/hadoop/apps

分发完成后

#修改hadoop2上的配置文件
vim config/server.properties
broker.id=1
listeners=PLAINTEXT://hadoop2:9092

#修改hadoop3上的配置文件
vim config/server.properties
broker.id=2
listeners=PLAINTEXT://hadoop3:9092

6. ​启动Kafka集群​

# 每个节点都执行

bin/kafka-server-start.sh -daemon config/server.properties

7. ​创建topic​

bin/kafka-topics.sh --create --zookeeper hadoop1:2181,hadoop2:2181,hadoop3:2181 --replication-factor 3 --partitions 3 --topic test

8. ​查看所有topic​

bin/kafka-topics.sh --list --zookeeper hadoop1:2181,hadoop2:2181,hadoop3:2181

9. ​生产数据​

bin/kafka-console-producer.sh --broker-list hadoop1:9092,hadoop2:9092,hadoop3:9092 --topic test

10. ​消费数据​

bin/kafka-console-consumer.sh  --bootstrap-server hadoop1:9092,hadoop2:9092,hadoop3:9092 --topic test --from-beginning