elk发文助手

51job elk

catelog

• • filebeat
  • logstash
  • • 过滤器
  • kibana

filebeat

后台运行

nohub xxx &
搜索后台运行日志  

logstash

logstash有两个配置文件 ,一个是针对启动环境jvm等, 还有一个是针对各种插件的;

input 指定filebeat 监听端口 为5514 ,
这表达的意思是, logstash将在自己启动占用的端口之外, 再监听一个端口, 这个端口是filebeat发来数据的位置

input {
	filebeat{
		port:5514
	}
}

过滤器

Grok正则
logstash提供了很多正则过滤器
/usr/local/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-4.1.2/patterns

在线grok解析工具

date
将真正事件时间作为实际输出的时间

kibana

时间字段时区 , logstash中增加的时间不是东8区, 在kibana中会订正成东8区

kibana搜索时特殊字符要转义 , 例如[aliyun] , 直接搜索aliyun是搜不到的 , 需要加上[\aliyun]

日志中增加主机信息 , filebeat收集时不屏蔽host字段 , 并在filebeat配置中增加 name 为ip