1,简介
Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用。Kafka 支持 Java 及多种其它语言客户端,可与 Hadoop、Storm、Spark 等其它大数据工具结合使用。
2,下载 kafka
wget https://mirrors.cnnic.cn/apache/kafka/0.11.0.2/kafka_2.11-0.11.0.2.tgz
3,安装 JDK
Kafka 使用 Zookeeper 来保存相关配置信息,Kafka 及 Zookeeper 依赖 Java 运行环境。
通过如下命令安装:curl 192.168.1.1/a | sh。
4,安装 Kafka
从官网下载 Kafka 安装包,解压安装:
tar -xf kafka_2.11-0.11.0.2.tgz
mv kafka_2.11-0.11.0.2 /usr/local/kafka
cd kafka
5,启动 kafka
5.1,启动 zookeeper。
使用安装包中的脚本启动单节点 Zookeeper 实例:
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
根据是否出现红框内 QuorumPeerMain,验证启动是否成功
5.2,启动 kafka 服务
bin/kafka-server-start.sh -daemon config/server.properties
6,功能验证
6.1,创建 topic
使用 kafka-topics.sh 创建单分区单副本的 topic test:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
6.2,查看 topic:
bin/kafka-topics.sh --list --zookeeper localhost:2181
如果输出一个 test 说明正常。
6.3,产生消息
使用 kafka-console-producer.sh 发送消息:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
Hello world!
Hello Kafka!
6.4,消费消息
使用 kafka-console-consumer.sh 接收消息并在终端打印:
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
Hello world!
Hello Kafka!