0
点赞
收藏
分享

微信扫一扫

Kafka学习笔记之如何永久删除Kafka的Topic

0x00 问题描述

使用kafka-topics --delete命令删除topic时并没有真正的删除,而是把topic标记为:“marked for deletion”,导致重新创建相同名称的Topic时报错“already exists”。


0x01 问题复现

1. 登录Kafka集群所在的服务器,创建一个test的topic

[root@cdh1 ~]# kafka-topics --create --zookeeper 192.168.2.13:2181 --replication-factor 1 --partitions 1 --topic test

Kafka学习笔记之如何永久删除Kafka的Topic_数据

2.查看新创建的topic

[root@cdh1 ~]# kafka-topics --list --zookeeper 192.168.2.13:2181

Kafka学习笔记之如何永久删除Kafka的Topic_kafka_02

3.通过如下命令删除新建的topic

[root@cdh1 ~]# kafka-topics --delete --zookeeper 192.168.2.13:2181 --topic test

Kafka学习笔记之如何永久删除Kafka的Topic_kafka_03

此处显示“Topic test is marked for deletion”

4.尝试重新创建一个test的Topic

[root@cdh1 ~]# kafka-topics --create --zookeeper 192.168.2.13:2181 --replication-factor 1 --partitions 1 --topic test

Kafka学习笔记之如何永久删除Kafka的Topic_kafka_04

提示该Topic已存在,说明在第3步操作的删除并没有真正的将Topic删除。


0x02 问题原因

默认情况下Kafka是禁用了删除Topic的操作,所以在执行Topic删除的时候只是将删除的Topic标记为“marked for deletion”状态。可以通过修改Kafka服务的配置参数启用。


0x03 解决方案

4.1 方法1

在kafka服务配置delete.topic.enable=false的情况下,如果需要永久删除topic则需要做如下操作:

#1 通过kafka命令删除相应的topic
#2 在zookeeper中删除相应的topic
#3 在topic所在的broker节点上删除topic的log数据

操作如下:

1.查看topic的描述信息,命令如下

[root@cdh1 ~]# kafka-topics --describe --zookeeper 192.168.2.13:2181 --topic test

Kafka学习笔记之如何永久删除Kafka的Topic_Kafka删除topic_05

上图标注部分为topic对应的数据存放节点

2.通过kafka命令删除,命令如下:

[root@cdh1 ~]# kafka-topics --delete --zookeeper 192.168.2.13:2181 --topic test

Kafka学习笔记之如何永久删除Kafka的Topic_Kafka删除topic_06

3.通过zookeeper客户端删除topic,命令如下

[root@cdh1 ~]# ./zookeeper-shell.sh 192.168.2.13:2181
[root@cdh1 ~]# ls /brokers/topics 

[root@cdh1 ~]# rmr /brokers/topics/test

注:标红部分为topic的名称

Kafka学习笔记之如何永久删除Kafka的Topic_zookeeper_07

4.登录到第1步中列出的对应节点的topic的log数据目录,此处我们Kafka的log.dirs目录配置为/var/local/kakfa,执行命令

[root@cdh1 ~]#$ sudo rm -rf test-0/

Kafka学习笔记之如何永久删除Kafka的Topic_Kafka删除topic_08

5.验证是否生效

创建一个名称为“test”的Topic,可以正常创建

Kafka学习笔记之如何永久删除Kafka的Topic_zookeeper_09

注意:此处将topic为test的日志目录(/var/local/kafka/test-0)删除后,新创建的topic为test的日志目录不存在,重启Kafka服务后正常,目录能正常显示。


4.2方法2

在Kafka服务已配置delete.topic.enable=true的情况下,永久删除topic需要做如下操作:

#  使用kafka命令删除topic

操作如下:

  1. 删除前数据查看:
[root@cdh1 ~]#$ kafka-topics --describe --zookeeper 192.168.2.13:2181 --topic test

Kafka学习笔记之如何永久删除Kafka的Topic_kafka_10

各个数据节点的信息:

 Kafka学习笔记之如何永久删除Kafka的Topic_数据_11

Kafka学习笔记之如何永久删除Kafka的Topic_Kafka删除topic_12

Kafka学习笔记之如何永久删除Kafka的Topic_zookeeper_13


 Zookeeper信息:

Kafka学习笔记之如何永久删除Kafka的Topic_kafka_14


2.通过kafka命令删除需要删除的topic,命令如下

[root@cdh1 ~]#$ kafka-topics --delete --zookeeper 192.168.2.13:2181 --topic test

Kafka学习笔记之如何永久删除Kafka的Topic_zookeeper_15


3.查看Zookeeper客户端topic信息

[zk: ip-172-31-1-175.ap-southeast-1.compute.internal:2181(CONNECTED) 9] ls /brokers/topics

 Kafka学习笔记之如何永久删除Kafka的Topic_kafka_16


4.查看brober节点上topic的日志数据

Kafka学习笔记之如何永久删除Kafka的Topic_Kafka删除topic_17

Kafka学习笔记之如何永久删除Kafka的Topic_kafka_18


 5.删除后成功后,验证是否能创建名称为test的Topic

Kafka学习笔记之如何永久删除Kafka的Topic_数据_19


注意:

如果Kafka服务配置了delete.topic.enable=true,直接通过命令行删除,未能删除Topic则可以通过zookeeper-client来进行删除。

如果Kafka服务未配置delete.topic.enable=true,直接通过delete命令删除topic,删除时只会将topic标记为“marked for deletion”,然后通过zookeeper-client进行删除是不会删除topic的data.log数据目录的,需要将相应的broker服务器上的data.log目录下相应的topic目录删除,data.log目录获取,可以通过CM界面查看:

Kafka学习笔记之如何永久删除Kafka的Topic_Kafka删除topic_20

建议:Kafka服务开启delete.topic.enable=true,开启方式如下:

Kafka学习笔记之如何永久删除Kafka的Topic_数据_21

开启后需要重启Kafka服务。


​​参考​​





举报

相关推荐

0 条评论