Flume 数据流监控
Ganglia 的安装与部署
Ganglia 由 gmond、gmetad 和 gweb 三部分组成。
- gmond（Ganglia Monitoring Daemon）是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。使用 gmond，你可以很容易收集很多系统指标数据，如 CPU、内存、磁盘、网络和活跃进程的数据等。
- gmetad（Ganglia Meta Daemon）整合所有信息，并将其以 RRD 格式存储至磁盘的服务。
- gweb（Ganglia Web）Ganglia 可视化工具，gweb 是一种利用浏览器显示 gmetad 所存储数据的 PHP 前端。在 Web 界面中以图表方式展现集群的运行状态下收集的多种不同指标数据
安装规划
首先在hadoop102，hadoop103，hadoop104上安装epel-release：sudo yum -y install epel-release
hadoop102：gweb gmetad gmod
sudo yum -y install ganglia-gmetad
sudo yum -y install ganglia-web
sudo yum -y install ganglia-gmond
hadoop103：gmod
sudo yum -y install ganglia-gmond
hadoop104：gmod
sudo yum -y install ganglia-gmond
配置文件
hadoop102上：
1.修改ganglia的配置文件：sudo vim /etc/httpd/conf.d/ganglia.conf
2.修改gmetad的配置文件：sudo vim /etc/ganglia/gmetad.conf
hadoop102、103、104上：
修改gmod的配置文件：sudo vim /etc/ganglia/gmond.conf
name与gmetad中配置的一致；
数据发送给hadoop102
接收来自任意连接的数据
在hadoo102上关闭防火墙：sudo vim /etc/selinux/config
ganglia启动
如果出现权限不足的错误：
sudo chmod -R 777 /var/lib/ganglia
然后在hadoop102、103、104上启动gmod：sudo systemctl start gmond
在hadoop102上：sudo systemctl start httpd
httpd启动的时候可能会报错：
httpd[2574]: AH00558: httpd: Could not reliably determine the se...age遇到这种情况，打开httpd的配置文件：sudo vim /etc/httpd/conf/httpd.conf
然后找到Servername，将#ServerName www.example.com:80改为ServerName localhost:80即可
centos系统使用yum安装的http的配置文件路径为/etc/httpd/conf/httpd.conf，其余操作系统和安装方式路径可能有差别；
sudo systemctl start gmetad
如果问题还是不能解决，修改/etc/httpd/conf.d/ganglia.conf
将其余内容全部注释掉，添加Require all granted
Flume监控测试
启动Flume任务
bin/flume-ng agent \
-c conf/ \
-n a1 \
-f job/net-flume-logger.conf \
-Dflume.root.logger=INFO,console \
-Dflume.monitoring.type=ganglia \
-Dflume.monitoring.hosts=hadoop102:8649选择集群：
可以看到内存、CPU、网络连接等状况：
最下方点击hadoop102节点，去查看flume任务的执行情况：
向下找到flume metrics，可以查看flume相关指标
具体含义如下
图表的更新可能有一定的延迟
