前一段时间因为工作较忙，没来及时更新，趁着假期准备一下，感觉还是要坚持的，也感谢很多网友的支持。
1.搭建一个ES和kibana系统，并创建索引：
"format" : "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis""format" : "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
2.在streamset启动前配置一个邮件配置项
在etc/sdc.properties配置一下邮件，这里我用的是我自己的qq邮箱
在etc/email-password.txt中配置邮箱密码。
1.新建数据流，点击保存，进入数据流构建页面
2.下面对构建好的数据流中的重点组件做介绍：
（1）调度器组件
主要用来采集的频率，这里规定频率为每2分钟采集数据，根据需求可以定制，不建议采集过于频繁。
（2）调度器组件
配置一下采集网页地址，请求头。
配置数据的格式，并配置是否是压缩数据和解析数据的长度。这里因为我们采集到的是字符串数据，所以我配置为文本，最大长度1024000000。
（3）截取字符串提取JSON数据
将JSON字符串转换为JSON对象数据
（4）提取真正关注的那部分数据
（5）从ES中查看采集到的数据是否已经入库
配置一下ES的连接，查询、用户名密码等等
（6）分流器筛选
使用分流器将不在ES中的数据传下去，在ES中的直接丢弃掉。
（7）使用JSON 生成插件将tag字符转化成一个JSON字符串，以备后面做字符串匹配使用。
（8）保留最终想要的数据，去除一些其他无关的数据。
（9）配置邮件插件
（10）将数据写入ES中
配置一些ES的地址，索引名等，和用户信息
（11）最后校验数据流，校验成功后启动数据流。
Streamsets实战之路正在更新中，尽情期待！！！
