Kafka集群搭建
需要先安装zookeeper 参考zookeeper 集群环境
1.1 下载解压
Kafka 安装包官方下载地址:http://kafka.apache.org/downloads ,本用例下载的版本为 3.1.0,下载命令:
# 下载 wget https://dlcdn.apache.org/kafka/3.1.0/kafka_2.13-3.1.0.tgz # 解压 tar -xzf kafka_2.13-3.1.0.tgz
1.2 修改配置
修改配置文件:
server.properties:
# The id of the broker. 集群中每个节点的唯一标识
broker.id=0
num.partitions=3
# 监听地址
listeners=PLAINTEXT://127.0.0.1:9092
# 数据的存储位置
log.dirs=/usr/local/kafka-logs/
# Zookeeper连接地址
zookeeper.connect=192.168.146.200:2181,192.168.146.201:2182,192.168.146.202:2181
这里需要说明的是 log.dirs
指的是数据日志的存储位置,确切的说,就是分区数据的存储位置,而不是程序运行日志的位置。程序运行日志的位置是通过同一目录下的 log4j.properties
进行配置的。
1.3 复制配置文件
把整个kafka的目录复制到其他两台机器。
1.4 启动集群
启动三个 Kafka 节点(启动kafka集群前必须先启动zookeeper集群)。启动后可以使用 jps 查看进程,此时应该有三个 zookeeper 进程和三个 kafka 进程。
进入到kafka bin 目录下执行启动命令
./kafka-server-start.sh -daemon ../config/server.properties
1.5 创建测试主题
创建测试主题:
./kafka-topics.sh --create --topic test-topic --bootstrap-server 127.0.0.1:9092 --replication-factor 1 --partitions 1
创建后可以使用以下命令查看创建的主题信息:
./kafka-topics.sh --list --bootstrap-server 127.0.0.1:9092 test-topic
./kafka-topics.sh --describe --bootstrap-server 127.0.0.1:9092 --topic test-topic