0
点赞
收藏
分享

微信扫一扫

大数据学习之Spark基础

程序员伟杰 2024-07-24 阅读 36

目录

一.实验准备

二.配置部署 Filebeat

三.配置Logstash

四.验证


一.实验准备

结合之前的博客中的实验

主机名ip地址主要软件
es01192.168.80.101ElasticSearch
es02192.168.80.102ElasticSearch
es03192.168.80.103ElasticSearch、Kibana
nginx01192.168.80.104nginx、Logstash
NA192.168.80.105nginx、Filebeat
NA192.168.80.106Zookeeper、Kafka
NA192.168.80.107Zookeeper、Kafka
NA192.168.80.108Zookeeper、Kafka

二.配置部署 Filebeat

cd /usr/local/filebeat
 
vim filebeat.yml
注释162、164行内容
163行起添加
output.kafka:
  enabled: true
  hosts: ["192.168.80.106:9092","192.168.80.107","192.168.80.108"]  #指定 Kafka 集群配置
  topic: "nginx"    #指定 Kafka 的 topic
 
启动 filebeat
./filebeat -e -c filebeat.yml

三.配置Logstash

cd /etc/logstash/conf.d/
vim kafka.conf
input {
    kafka {
        bootstrap_server => "192.168.80.106:9092,192.168.80.107:9092,192.168.80.108:9092"
        topics => "nginx"
        type => "nginx_kafka"
        auto_offset_reset => "latest"
    }
}
 
#filter {}
 
output {
     elasticsearch {
          hosts => ["192.168.80.101:9200", "192.168.80.102:9200", "192.168.80.103:9200"]
          index => "nginx_kafka-%{+yyyy.MM.dd}"
     }
}
 
 
 
logstash -t -f kafka.conf
logstash -f kafka.conf

四.验证

浏览器访问 http://192.168.80.103:5601 登录 Kibana,单击【管理】按钮【创建索引模式】,搜

索【nginx_kafka-*】单击 【下一步】按钮创建,选择【@timestamp】 按钮,【创建索引模

式】;可查看图表信息及日志信息

举报

相关推荐

0 条评论