0
点赞
收藏
分享

微信扫一扫

Flume数据采集准备

Flume数据采集准备_apache

 

flume的官网:​​http://flume.apache.org/​​

flume的下载地址:http://flume.apache.org/download.html

Flume数据采集准备_apache_02

 

 

这里我们用的是apache版本的flume

 Flume数据采集准备_apache_03

 

 

 Flume数据采集准备_ide_04

 

 Flume数据采集准备_ide_05

Flume数据采集准备_apache_06

 

解压

Flume数据采集准备_ide_07

 

改下名字

Flume数据采集准备_ide_08

 

 把不必要的文件删除

Flume数据采集准备_apache_09

 

 

Flume数据采集准备_ide_10

 

flume用户指南官网地址:https://cwiki.apache.org//confluence/display/FLUME/Getting+Started

 

把节点1的flume分发到节点2 和节点3上去

Flume数据采集准备_ide_11

 

Flume数据采集准备_apache_12

 

 通过noteap++连接到节点2上

Flume数据采集准备_apache_13

 

修改下名字

Flume数据采集准备_ide_14

 

 

 修改配置文件

Flume数据采集准备_apache_15

 

因为这个配置文件比较乱

Flume数据采集准备_apache_16

 

 我们直接把内容干掉然后自己重新配置

Flume数据采集准备_html_17

 

我们可以参考官网 http://flume.apache.org/FlumeUserGuide.html

Flume数据采集准备_html_18

 

 Flume数据采集准备_html_19

 

 画红线的地方是数据源的路径

Flume数据采集准备_apache_20

 

Flume数据采集准备_apache_21

 

 Flume数据采集准备_html_22

 

下面配置channel

Flume数据采集准备_ide_23

 

​​ http://flume.apache.org/FlumeUserGuide.html#memory-channel​​

 Flume数据采集准备_apache_24

 

Flume数据采集准备_apache_25

 

下面配置sink

Flume数据采集准备_html_26

 

​​ http://flume.apache.org/FlumeUserGuide.html#avro-sink​​

Flume数据采集准备_html_27

 

Flume数据采集准备_html_28

 

 这里为什么sink的hostname是配置到节点1 呢,因为我们这里节点2 和节点3是各自通过一个flume初步收集数据,节点1再通过一个flume来合并数据

 Flume数据采集准备_apache_29

 

 

为了方便我们看到配置文件知道是节点2,我们修改一下

Flume数据采集准备_apache_30

 

把weblogs.log文件分发给节点3 

Flume数据采集准备_html_31

 

因为节点3的flume没有配置,我们现在就直接用节点2的flume把节点3的覆盖掉了

 Flume数据采集准备_apache_32

 

 

 这个是节点3的,现在看到的是保留了节点2的配置,因为刚刚从节点2复制过来的,现在我们需要修改一下

Flume数据采集准备_ide_33

 

这个是修改后的

Flume数据采集准备_ide_34

 

举报

相关推荐

0 条评论