0
点赞
收藏
分享

微信扫一扫

kafka_2.11-单机部署

诗尚凝寒 2022-04-26 阅读 60
kafka

1,简介

Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用。Kafka 支持 Java 及多种其它语言客户端,可与 Hadoop、Storm、Spark 等其它大数据工具结合使用。

2,下载 kafka

wget https://mirrors.cnnic.cn/apache/kafka/0.11.0.2/kafka_2.11-0.11.0.2.tgz

3,安装 JDK

Kafka 使用 Zookeeper 来保存相关配置信息,Kafka 及 Zookeeper 依赖 Java 运行环境。

通过如下命令安装:curl 192.168.1.1/a | sh。

4,安装 Kafka

从官网下载 Kafka 安装包,解压安装:

tar -xf kafka_2.11-0.11.0.2.tgz     
mv kafka_2.11-0.11.0.2 /usr/local/kafka
cd kafka

5,启动 kafka

5.1,启动 zookeeper。

使用安装包中的脚本启动单节点 Zookeeper 实例:

bin/zookeeper-server-start.sh -daemon  config/zookeeper.properties

根据是否出现红框内 QuorumPeerMain,验证启动是否成功
在这里插入图片描述

5.2,启动 kafka 服务

bin/kafka-server-start.sh -daemon config/server.properties

6,功能验证

6.1,创建 topic

使用 kafka-topics.sh 创建单分区单副本的 topic test:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

6.2,查看 topic:

bin/kafka-topics.sh --list --zookeeper localhost:2181

如果输出一个 test 说明正常。

6.3,产生消息

使用 kafka-console-producer.sh 发送消息:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 
Hello world!
Hello Kafka!

6.4,消费消息

使用 kafka-console-consumer.sh 接收消息并在终端打印:

 bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
 Hello world!
 Hello Kafka!
举报

相关推荐

0 条评论