ip地址	所属集群	安装软件包
192.168.100.11	Elasticsearch	Elasticsearch集群
192.168.100.12	Elasticsearch	Elasticsearch集群
192.168.100.13	Logstash	数据转发
192.168.100.14	kafka+zookeeper	kafka+zookeeper
192.168.100.15	kafka+zookeeper	kafka+zookeeper
192.168.100.16	kafka+zookeeper	kafka+zookeeper
192.168.100.17	filebeat	配置数据采集层

本实验基于ELK已经搭好的情况下

1、3台机子安装zookeeper 192.168.100.14/15/16

Zookpeer下载地址:apache-zookeeper-3.7.1-bin.tar.gz

1.1 解压安装zookeeper软件包

1.2 修改Zookeeper配置配置文件

1.3 设置myid号以及启动脚本

到这里就不要设置同步了，下面的操作，做好一台机器一台机器的配置。

1.4 3台机器启动zookeeper

2、安装kafka 192.168.100.14/15/16

2.1 安装 kafka（3台机子都要操作）

2.2 修改配置文件

2.3 将相关命令加入到系统环境当中

2.4 启动kafka

Kafka 命令行操作

创建topic

kafka-topics.sh --create --zookeeper 192.168.121.10:2181,192.168.121.12:2181,192.168.121.14:2181 --replication-factor 2 --partitions 3 --topic test
–zookeeper：定义 zookeeper 集群服务器地址，如果有多个 IP 地址使用逗号分割，一般使用一个 IP 即可
–replication-factor：定义分区副本数，1 代表单副本，建议为 2
–partitions：定义分区数
–topic：定义 topic 名称
查看当前服务器中的所有 topic

kafka-topics.sh --list --zookeeper 192.168.121.10:2181,192.168.121.12:2181,192.168.121.14:2181
查看某个 topic 的详情

kafka-topics.sh --describe --zookeeper 192.168.121.10:2181,192.168.121.12:2181,192.168.121.14:2181
发布消息

kafka-console-producer.sh --broker-list 192.168.121.10:9092,192.168.121.12:9092,192.168.121.14:9092 --topic test
消费消息

kafka-console-consumer.sh --bootstrap-server 192.168.121.10:9092,192.168.121.12:9092,192.168.121.14:9092 --topic test --from-beginning

删除 topic

kafka-topics.sh
--delete --zookeeper 192.168.80.10:2181,192.168.80.11:2181,192.168.80.12:2181 --topic test