ELK single deployment

版本信息:

apache-zookeeper-3.7.1-bin.tar.gz

kafka_2.12-2.8.2.tgz

kibana-7.12.0-linux-x86_64.tar.gz

elasticsearch-7.12.0-linux-x86_64.tar.gz

logstash-7.9.2.tar.gz

一.

zookeeper配置启动2181  

前置条件:  1.安装jdk 2.添加默认配置文件zoo.cfg
二.

启动kafka9092

前置条件:安装zk
三.

启动es9200  

前置条件:不支持root启动,非root启动
四.

启动kibana5601

前置条件:1.不支持root启动,非root启动   2.修改监听地址--默认127.0.0.1
 

logstash配置:

cat /data/accu01/elk/logstash-7.9.2/config/logstash.conf 
input {
    kafka {
        bootstrap_servers => "xxx.0.217.27:9092"
        topics_pattern => "e.*"
        consumer_threads => 5
        decorate_events => true
        codec => "json"
        auto_offset_reset => "latest"
        group_id => "acctlog"
    }
}
output {
    elasticsearch {
        hosts => ["xxx.0.120.198:9200"]
        #index => "%{[appname]}@%{+YYYY-MM-dd}"
        index => "acct_async_handle@%{+YYYY-MM-dd}"
        user => "acctsysmonitor"
        password => "*******"
    }
}
filter {
}

进行测试:

#创建topic     
bin/kafka-topics.sh --create --topic elk-20230504 --bootstrap-server xxx.0.217.27:9092
#查看topic
./kafka-topics.sh --zookeeper 127.0.0.1:2181 --list

#写入数据
 bin/kafka-console-producer.sh --topic elk-20230504 --bootstrap-server xxx.0.217.27:9092
 {"age":10,"id":1,"name":"用户1","acctlog","acctlog2"}

kibana查看结果:

GET /acct_async_handle@2023-05-04?pretty

补充其他es常用命令:

查看版本   GET /

查看所有索引 GET /_cat/indices?v