@Splunk部署及数据监视使用|数据可视化展示-CFANZ编程社区

文章目录

1.splunk概述
2.splunk的特点
3.splunk安装
4.Web使用splunk
5.Splunk数据文件监控
6.Splunk的服务器节点监视
7.Splunk组件扩展
8.splunk Dashboards

@Splunk部署及数据监视使用|数据可视化展示_运维

1.splunk概述

@Splunk部署及数据监视使用|数据可视化展示_linux_02

#splunk基本介绍
  1》 Splunk 是一款顶级的日志分析软件，如果经常用 grep、awk、sed、sort、uniq、tail、head 来分析日志的话，我们就需要 使用Splunk；
splunk’能处理常规的日志格式，比如 apache、nginx、squid、syslog、mail.log等；对所有日志先进行 index，然后可以交叉查询，支持复杂的查询语句，然后通过直观的方式表现出来。
日志可以通过文件方式传倒 Splunk 服务器，也可以通过网络实时传输过去。或者是分布式的日志收集。总之支持多种日志收集方法

  2》Splunk 是机器数据的引擎，我们使用Splunk可收集、索引和利用所有应用程序、服务器和设备（物理、虚拟和云中）生成的快速移动型计算机数据 。从一个位置 搜索并分析所有实时和历史数据。
使用 Splunking处理计算机数据，可让您在几分钟内（而不是几个小时或几天）解决问题和调查安全事件。监视您的端对端基础结构，避免服务性能降低或中断。以较低成本满足合规性要求。关联并分析跨越多个系统

  3》splunk软件分为免费版本与专业版本；专业版本的价格是比较高的，使用免费版本的功能，对于我们也是也足够了
  
  4》Splunk分为服务器(Splunk)和客户端（Splunkforwarder）。
Splunk的服务器就是索引器和接收器。客户端就是数据的转发器。顾名思义就是数据可由客户端转发至server端进行索引。客户端只起到转发数据的作用。

  5》Splunk是一款功能强大，功能强大且完全集成的软件，用于实时企业日志管理，可收集，存储，搜索，诊断和报告任何日志和机器生成的数据，包括结构化，非结构化和复杂的多行应用程序日志。
它允许您以可重复的方式快速，可重复地收集，存储，索引，搜索，关联，可视化，分析和报告任何日志数据或机器生成的数据，以识别和解决操作和安全问题。，

  ps：splunk还支持各种日志管理用例，例如日志整合和保留，安全性，IT操作故障排除，应用程序故障排除以及合规性报告等

2.splunk的特点

Splunk Enterprise【企业版】、Splunk Free【免费版】、Splunk Cloud、Splunk Hunk【大数据分析平台】、Splunk Apps【基于企业版的插件】等

@Splunk部署及数据监视使用|数据可视化展示_运维_03

1. 它易于扩展和完全集成; 
 2. 支持本地和远程数据源; 
 3. 允许索引机器数据; 
 4. 支持搜索和关联任何数据; 
 5. 允许您向下钻取和向上钻取数据;
 6. 支持监控和警报; 
 7. 支持用于可视化的报告和仪表板; 提供对关系数据库的灵活访问，以逗号分隔值（ .CSV）文件或其他企业数据存储（如Hadoop或NoSQL）的字段分隔数据; 
 8. 支持各种日志管理用例等等;

3.splunk安装

【splunk官方网站】

免费使用splunk，如下，先注册，后使用即可

@Splunk部署及数据监视使用|数据可视化展示_linux_05

#环境优化：关闭防火墙及selinux
[root@splunk ~]# setenforce 0
setenforce: SELinux is disabled
[root@splunk ~]# systemctl stop firewalld

1）#splunk安装包准备（官方注册账号）
   官方注册并下载安装包
   服务器：splunk-*****-linux-x86_64.rpm
   客户端：splunkforwarder-******-linux-x86_64.rpm


2）#linux安装包下载（手动下载）
[root@splunk ~]# wget -O splunk-8.2.4-87e2dda940d1-Linux-x86_64.tgz 'https://download.splunk.com/products/splunk/releases/8.2.4/linux/splunk-8.2.4-87e2dda940d1-Linux-x86_64.tgz'




3）#linux系统splunk安装
[root@splunk ~]# rpm -ivh splunk-8.2.5-77015bc7a462-linux-2.6-x86_64.rpm 
警告：splunk-8.2.5-77015bc7a462-linux-2.6-x86_64.rpm: 头V4 RSA/SHA512 Signature, 密钥 ID b3cd4420: NOKEY
准备中...                          ################################# [100%]
正在升级/安装...
   1:splunk-8.2.5-77015bc7a462        ################################# [100%]
complete




4）#启动splunk服务（阅读SPLUNK SOFTWARE LICENSE AGREEMENT）
[root@splunk ~]#  /opt/splunk/bin/splunk start
阅读完成后出现此状态，输入y 同意
Do you agree with this license? [y/n]: y
#用户设置
Please enter an administrator username: admin
Password must contain at least:
   * 8 total printable ASCII character(s).
#设置密码
Please enter a new password: 
Please confirm new password: 
Copying '/opt/splunk/etc/openldap/ldap.conf.default' to '/opt/splunk/etc/openldap/ldap.conf'.
Generating RSA private key, 2048 bit long modulus
.........................+++++
.......................+++++
e is 65537 (0x10001)
writing RSA key
....

Signature ok
subject=/CN=splunk/O=SplunkUser
Getting CA Private Key
writing RSA key
Done
                                                           [  确定  ]

Waiting for web server at http://127.0.0.1:8000 to be available......... Done


If you get stuck, we're here to help.  
Look for answers here: http://docs.splunk.com

The Splunk web interface is at http://splunk:8000
#当前状态表示安装完成



5）#查看端口确认服务状态
[root@splunk ~]# netstat -lntp |grep splunk
tcp        0      0 0.0.0.0:8089            0.0.0.0:*               LISTEN      2211/splunkd        
tcp        0      0 0.0.0.0:8000            0.0.0.0:*               LISTEN      2211/splunkd