1 Logstash架构介绍
1.1为什么需要Logstash
对于部分生产上的日志无法像 Nginx 那样，可以直接将输出的日志转为 Json 格式，但是可以借助 Logstash来将我们的 ”非结构化数据“，转为 “结构化数据”；
filbeat --> logstash(input fileter output) --es
1.2什么是Logstash
Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。
1.3Logstash架构介绍
Logstash 的基础架构类似于 pipeline 流水线，主要分为如下步骤：
- Input：数据采集（常用插件：stdin、file、kafka、beat、http）
- Filter：数据解析/转换（常用插件：grok、date、geoip、mutate、useragent）
- Output：数据输出 （常用插件：Elasticsearch）
1.4 Logstash安装
tar -xf logstash-7.17.5-linux-x86_64.tar.gz
mv logstash-7.17.5 logstash
mv logstash /app/module/
ln -s /app/module/logstash/bin/
#验证，可以看到Logstash是需要JAVA_HOME的
基于命令行启动logstash实例
logstash -e "input { stdin { type => stdin } } output { stdout {} }"
