0
点赞
收藏
分享

微信扫一扫

大规模场景下对Istio的性能优化

诗与泡面 2023-09-01 阅读 55

目录

一、为什么要使用ELK

二、ELK作用

二、组件

一、elasticsearch

特点

二、logstash

工作过程

INPUT(输入)

FILETER(过滤)

OUTPUTS(输出)

三、kibana

三、架构类型

ELK

ELKK

ELFK

ELFKK

EFK

四、构建ELk集群

一、环境配置

二、安装node1与node2节点的elasticsearch

三、在node1安装elasticsearch-head插件

四、node1服务器安装logstash

五、logstash日志收集文件格式(默认存储在/etc/logstash/conf.d)

六、node1节点安装kibana


一、为什么要使用ELK

        日志对于分析系统、应用的状态十分重要,但一般日志的量会比较大,并且比较分散。

        如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此,一些集中式的日志系统也就应用而生。目前比较有名成熟的有,Splunk(商业)、FaceBook 的Scribe、Apache的Chukwa Cloudera的Fluentd、还有ELK等等。

二、ELK作用

        日志收集
        日志分析
        日志可视化

二、组件

一、elasticsearch

        日志分析        开源的日志收集、分析、存储程序

特点

        分布式
        零配置
        自动发现
        索引自动分片
        索引副本机制
        Restful风格接口
        多数据源
        自动搜索负载

二、logstash

        日志收集        搜集、分析、过滤日志的工具

工作过程

        一般工作方式为c/s架构,Client端安装在需要收集日志的服务器上,Server端负责将收到的各节点日志进行过滤、修改等操作,再一并发往Elasticsearch上去

        Inputs → Filters → Outputs

        输入-->过滤-->输出

INPUT(输入)

        File:        从文件系统的文件中读取,类似于tail -f命令

        Syslog:        在514端口上监听系统日志消息,并根据RFC3164标准进行解析

        Redis:        从redis service中读取

        Beats:        从filebeat中读取

FILETER(过滤)

        Grok:        解析任意文本数据,Grok 是 Logstash 最重要的插件。它的主要作用就是将文本格式的字符串,转换成为具体的结构化的数据,配合正则表达式使用。

        官方提供的grok表达式:        logstash-patterns-core/patterns at main · logstash-plugins/logstash-patterns-core · GitHub

        Grok在线调试:        Grok Debugger

        Mutate:        对字段进行转换。例如对字段进行删除、替换、修改、重命名等。

        Drop:        丢弃一部分Events不进行处理。

        Clone:        拷贝Event,这个过程中也可以添加或移除字段。

        Geoip:        添加地理信息(为前台kibana图形化展示使用)

OUTPUTS(输出)

  Elasticsearch:        可以高效的保存数据,并且能够方便和简单的进行查询。
  File:        将Event数据保存到文件中。
  Graphite:        将Event数据发送到图形化组件中,踏实一个当前较流行的开源存储图形化展示的组件。

三、kibana

        日志可视化

        为Logstash和ElasticSearch在收集、存储的日志基础上进行分析时友好的Web界面,可以帮助汇总、分析和搜索重要数据日志。

三、架构类型

ELK

        es
        logstash
        kibana

ELKK

        es
        logstash
        kafka
        kibana

ELFK

        es
        logstash            重量级            占用系统资源较多
        filebeat            轻量级            占用系统资源较少
        kibana

ELFKK

        es
        logstash
        filebeat
        kafka
        kibana

EFK

        es
        logstash
        fluentd
        kafka
        kibana

四、构建ELk集群

        基于Java环境yum install -y java-1.8.0-OpenJDK)  

        虚拟机        内存4G  四核

        已经下载好的         tar包

一、环境配置

        关闭防火墙,selinux 

        设置各个主机的IP地址为静态IP,两个节点中修改主机名为node1和node2并设置hosts文件

node1:192.168.100.10/24

node2:192.168.100.11/24

二、安装node1与node2节点的elasticsearch

启动elasticsearch服务

node1和node2

systemctl start elasticsearch

查看节点信息

三、在node1安装elasticsearch-head插件

安装node

拷贝命令

安装elasticsearch-head

访问: 192.168.100.10:9100

测试

在node1的终端中输入:

刷新浏览器可以看到对应信息即可

四、node1服务器安装logstash

测试1: 标准输入与输出

logstash -e 'input{ stdin{} }output { stdout{} }'

测试2: 使用rubydebug解码

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug }}'

测试3:输出到elasticsearch

logstash -e 'input { stdin{} } output { elasticsearch{ hosts=>["192.168.1.1:9200"]} }'

  查看结果:192.168.100.10:9100

五、logstash日志收集文件格式(默认存储在/etc/logstash/conf.d)

        Logstash配置文件基本由三部分组成:input、output以及 filter(根据需要)。标准的配置文件格式如下:

input (...)  输入

filter {...}   过滤

output {...}  输出

在每个部分中,也可以指定多个访问方式。例如,若要指定两个日志来源文件,则格式如下:

input {

file{path =>"/var/log/messages" type =>"syslog"}

file { path =>"/var/log/apache/access.log"  type =>"apache"}

}

        通过logstash收集系统信息日志

六、node1节点安装kibana

配置kibana

启动kibana

访问kibana : 192.168.100.10:5601

首次访问需要添加索引,我们添加前面已经添加过的索引:system-*

举报

相关推荐

0 条评论