0
点赞
收藏
分享

微信扫一扫

【KAFKA】使用星环大数据平台客户端操作kafka的topic

前置条件

从星环大数据平台下载kafka的配置文件。如下载的配置为kafka1,把该kafka1放入到/etc目录下并给kafka1目录进行如下赋权:

chmod 755 -R /etc/kafka1
配置环境变量

在对应用户的环境变量中添加如下内容:

export KAFKA_OPTS="-Djava.security.auth.login.config=/etc/kafka1/conf/jaas.conf -Djava.security.krb5.conf=/etc/kafka1/conf/krb5.conf -Dsun.security.krb5.debug=true"
export KAFKA_HEAP_OPTS="-Djava.security.auth.login.config=/etc/kafka1/conf/jaas.conf -Djava.security.krb5.conf=/etc/kafka1/conf/krb5.conf -Dsun.security.krb5.debug=true"
在consumer.properties、producer.properties添加如下内容

进入TDH-Client/kafka/config目录下找到consumer.properties、producer.properties,然后在两个文件中添加如下内内容:

security.protocol=SASL_PLAINTEXT
sasl.mechanism=GSSAPI
sasl.kerberos.service.name=kafka

使用TDH-Client操作kafka的Topic

以下所有命令都是在进入到TDH-Client/kafka/bin目录执行的。

创建topic
./kafka-topics.sh --create --zookeeper localhost:2181 --topic testwel --replication-factor 1 --partitions 1
#查看test主题详细信息
./kafka-topics.sh --zookeeper localhost:2181 -describe -topic testwel
向主题写入数据
#交互式写入
./kafka-console-producer.sh --broker-list localhost:9092 --topic testwel --producer.config ../config/producer.properties

hello.txt的内容如下:

1,2,3,4
1,2,3,4
1,2,3,4
1,2,3,4
1,2,3,4
#把文件数据写入kafka
./kafka-console-producer.sh --broker-list localhost:9092 --topic testwel --producer.config ../config/producer.properties < hello.txt
从主题读书据
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testwel --consumer.config ../config/consumer.properties --from-beginning


举报

相关推荐

0 条评论