大数据之_数据采集Flume_架构---Flume工作笔记004

然后我们来看flume的基础架构

可以看到,其实就是,web server等产生了日志数据,比如一个日志文件,然后

这个日志文件,会被作为source数据源,这个数据源是一个日志文件,也可以是一个端口数据,

然后source数据源的数据,会走到channel,通过这个通道,传输,然后最终走到,sink中去.

sink(下沉)的作用就是把数据,存储到不同的存储系统中,比如HDFS中.

我们来看各个组件的内容,首先agent.

source channel sink