【Kafka】 之 安装

文章目录

• ​​一、安装​​
• ​​二、运行​​

• ​​（1）启动容器​​
• ​​（2）进入`kafka`容器​​
• ​​（3）创建`topic`​​
• ​​（4）查看创建的`topic`​​
• ​​（5）发布消息​​
• ​​（6）接收消息​​
• ​​（7）`docker-compose`命令​​
• ​​（8）查看消费组情况​​

一、安装

使用Docker进行安装，使用​​Kafka​​​需要​​Zookeeper​​

version: '2.1'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181"
  kafka:
    image: wurstmeister/kafka
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 192.168.99.100
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

​​KAFKA_ADVERTISED_HOST_NAME​​​ 是宿主机IP，可以是 ​​127.0.0.1​​，但多节点则建议。

二、运行

（1）启动容器

​​docker-compose up -d​​

（2）进入​​kafka​​容器

​​sudo docker exec -it kafka_kafka_1 /bin/bash​​

（3）创建​​topic​​

​​kafka-topics.sh --create --topic test --zookeeper kafka_zookeeper_1:2181 --replication-factor 1 --partitions 1​​

（4）查看创建的​​topic​​

​​kafka-topics.sh --list --zookeeper kafka_zookeeper_1:2181​​

（5）发布消息

​​kafka-console-producer.sh --topic=test --broker-list kafka_kafka_1:9092​​

（6）接收消息

​​kafka-console-consumer.sh --bootstrap-server kafka_kafka_1:9092 --from-beginning --topic test​​

（7）​​docker-compose​​命令

1. 查看帮助文档
   ​​docker-compose --help​​
2. 启动容器
   ​​docker-compose start​​
3. 删除容器
   ​​docker-compose rm -f​​
4. 停止并删除运行中的容器
   ​​docker-compose down​​

（8）查看消费组情况

1. 查看​​consumer group​​列表
   ​​kafka-consumer-groups.sh --bootstrap-server kafka_kafka_1:9092 --list​​
2. 查看指定​​group.id​​的消费情况
   ​​kafka-consumer-groups.sh --bootstrap-server kafka_kafka_1:9092 --describe --group blog_es_1​​
3. 删除​​group​​​​kafka-consumer-groups.sh --bootstrap-server kafka_kafka_1:9092 --group blog_es_1 --delete​​
4. 重置​​offset​​​​kafka-consumer-groups.sh --bootstrap-server kafka_kafka_1:9092 --group blog_es_1 --reset-offsets -to-offset 100 --topic test --execute​​