实战：如何实时采集上亿级别数据？

背景介绍

采集流程

流程分解

流程一：MLSQL 消费MQ

流程二：通过Logstash进行消费MQ

流程三: 数仓建模

注意：本篇主要是借鉴这个需求讲解Logstash在实际场景中的使用以及优化，其他两个部分流程不做详细讲解

为什么这样设计？

原因一：

原因二：

Logstash开发流程

1.确定日志格式

2.调试grok

3.调试ruby

4.优化

1.MLSQL优化

2.Kafka端优化

3.hdfs优化

4.ES优化