0
点赞
收藏
分享

微信扫一扫

日志采集Flume配置选择

胡桑_b06e 2022-03-16 阅读 50

可选择 TaildirSourceKafkaChannel,并配置日志校验拦截器。

选择TailDirSource和KafkaChannel的原因如下:

1)TailDirSource

TailDirSource相比ExecSource、SpoolingDirectorySource的优势

  • TailDirSource:断点续传目录。Flume1.6以前需要自己自定义Source记录每次读取文件位置,实现断点续传。
  • ExecSource可以实时搜集数据,但是在Flume不运行或者Shell命令出错的情况下,数据将会丢失。
  • SpoolingDirectorySource监控目录,支持断点续传。

2)KafkaChannel

采用Kafka Channel,省去了Sink,提高了效率。
日志采集Flume关键配置如下:

1

举报

相关推荐

0 条评论