KAFKA 最新版 单机安装、配置、部署（linux环境）

文章目录

• ​​一、基础软件下载​​

• ​​1. JDK​​
• ​​2. KAFKA​​
• ​​3. ZOOKEEPER​​

• ​​二、zookeeper配置启动​​

• ​​2.1. 解压​​
• ​​2.2. 配置环境变量​​
• ​​2.3. 刷新环境变量​​
• ​​2.4. 配置文件调整​​
• ​​2.4. 启动zookeeper​​
• ​​2.5. 监控zk启动状态​​
• ​​2.6. 查看日志​​

• ​​三、kafka配置启动​​

• ​​3.1. 解压​​
• ​​3.2. 配置环境变量​​
• ​​3.3. 刷新环境变量​​
• ​​3.4. 验证是否生效​​
• ​​3.5. 配置文件​​
• ​​3.6. 数据目录配置​​
• ​​3.7. 创建数据目录​​
• ​​3.8. 启动kafka​​
• ​​3.9. 登录zk验证节点​​
• ​​3.10. kafka服务停止​​
• ​​3.11. 环境变量​​

一、基础软件下载

1. JDK

​​Linux 安装、卸载JDK​​

2. KAFKA

​​http://kafka.apache.org/downloads​​

wget

3. ZOOKEEPER

​​https://archive.apache.org/dist/zookeeper/​​

wget

二、zookeeper配置启动

2.1. 解压

cd /app
tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz
mv

2.2. 配置环境变量

vim /etc/profile

# ZK
export ZOOKEEPER_HOME=/app/zookeeper-3.7.0
export PATH=$PATH:${ZOOKEEPER_HOME}/bin
# 修改zk保存数据文件的目录
export ZK_LOG_DIR=/var/gblfy/zookeeper/log

2.3. 刷新环境变量

source

2.4. 配置文件调整

cd zookeeper-3.7.0/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

将dataDir=/tmp/zookeeper调整为
dataDir=/var/gblfy/zookeeper/data

2.4. 启动zookeeper

cd

2.5. 监控zk启动状态

./zkServer.sh status

2.6. 查看日志

cd

三、kafka配置启动

3.1. 解压

tar

3.2. 配置环境变量

vim /etc/profile

#kafaka
export KAFKA_HOME=/app/kafka_2.12-2.8.0
export PATH=$PATH:${KAFKA_HOME}/bin

3.3. 刷新环境变量

source

3.4. 验证是否生效

输入kafka-按Tab键（命令补全），如果自动显示下面这些脚本说明，配置环境变量生效

3.5. 配置文件

1.指定 kafka在哪存储消息持久化的数据目录
2.kafka连接zookeeper的地址以及kafka的节点

cd /app/kafka_2.12-2.8.0/config/
vim server.properties

将#zookeeper.connect=localhost:2181
修改为
zookeeper.connect=localhost:2181/mykafka
# 在zk根目录下，会创建一个mykafka节点，这个节点的子节点，存放的是kafka的元数据

3.6. 数据目录配置

将 #log.dirs=/tmp/kafka-logs
修改为
log.dir=/var/gblfy/kafka/kafka-logs
#指定 kafka在哪存储消息持久化的数据的目录

3.7. 创建数据目录

mkdir

3.8. 启动kafka

# 独占（前台）模式启动kafka
kafka-server-start.sh ../config/server.properties 

# 后台启动kafka

3.9. 登录zk验证节点

登录zk，在根目录下面是否是否创建mykafka节点

# 登录zk
zkCli.sh 

# 查看zk根节点
ls /

# 查看mykafka里面的子节点
ls

[zk: localhost:2181(CONNECTED) 0] ls /
[mykafka, zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /mykafka
[cluster,集群
 controller, 控制器
 controller_epoch,控制器的纪元
 brokers,kafka实例有哪些？
 admin, 管理者
 isr_change_notification, 同步的副本
 consumers, 消费者
 log_dir_event_notification,  log_dir的一个事件通知
 latest_producer_id_block, 最后一个生产者
 config]
[zk: localhost:2181(CONNECTED) 2]

到目前这一步，节点创建成功了，kafka启动也没问题！

3.10. kafka服务停止

# 停止kafka服务

3.11. 环境变量

export JAVA_HOME=/data/soft/jdk1.8
export ZOOKEEPER_HOME=/app/zookeeper-3.7.0
export KAFKA_HOME=/app/kafka_2.12-2.8.0
export PATH=.:$JAVA_HOME/bin:$KAFKA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH
scl enable devtoolset-9 bash

# 修改zk保存数据文件的目录
export ZK_LOG_DIR=/var/gblfy/zookeeper/log