0
点赞
收藏
分享

微信扫一扫

数据采集之用户行为日志采集

Yaphets_巍 2022-01-12 阅读 182

1.生产中的用户行为日志为前后端埋点产生,存在在日志服务器中, 在本项目中存储在hadoop102和hadoop103两台机器中。

2.同时进行日志采集的两台flume也分别在102和103的机器上,在flume组件的组件方面两台机器是一样的,使用的是
taildirSource(特点:支持断点续传)
kafkachannel 进行缓冲和聚合
另外还有一个ETL自定义拦截器负责数据清洗

3.通过flume传到kafka集群中,kafka中topic为topic_log

4.在hadoop104中的flume拿到kafka中的数据再往hdfs中上传
组件选型如下:
自定义timestamp拦截器(为了解决0点漂移问题)
kafkasource(从kafka中读取数据)
filechennel(基于磁盘)
hdfssink(需要上传到hdfs中)

流程描述在这里插入图片描述

举报

相关推荐

0 条评论