【ELK使用指南 2】常用的 Logstash filter 插件详解(附应用实例）

接下来是一个组跟数据和机器学习有关的内容，这部分在SAP-C02考试中目前占比可能不多且不是很深入，但是随着AI的趋势，这部分内容将会越来越重要，但是经常会出现在考题的选项中，因此了解其基本功能和在解决方案中的应用也是非常重要的。

目录

• 1 大数据
• • 1.1 Kinesis家族
  • • 1.1.1 Kinesis Data Streams
    • • 1.1.1.1 基本特性
      • 1.1.1.2 分片
      • 1.1.1.3 生产者和消费者
    • 1.1.2 Kinesis Data Firehose
    • • 1.1.2.1 基本特性
      • 1.1.2.2 典型架构
      • 1.1.2.3 Firehose与Stream的最大区别
    • 1.1.3 Kinesis Data Analytics
    • • 1.1.3.1 基本特性
      • 1.1.3.2 典型架构
      • 1.1.3.3 应用场景
    • 1.1.4 Kinesis Video Streams
    • • 1.1.4.1 基本特性
      • 1.1.4.2 典型架构
    • 1.1.4 流数据Sream典型架构
  • 1.2 Redshift
  • • 1.2.1 基本特性
    • 1.2.2 Snapshots & DR
    • 1.2.3 高级特性
  • 1.3 Athena
  • • 1.3.1 基本特性
    • 1.3.2 典型架构
  • 1.4 Quicksight
  • 1.5 EMR
  • • 1.5.1 基本特性
    • 1.5.2 EMR节点成本选择
  • 1.6 大数据架构总结
  • • 1.6.1 数据集成管道
    • 1.6.2 数据分析层
    • 1.6.3 数仓架构比较
• 2 机器学习
• • 2.1 Rekognition
  • 2.2 Transcribe
  • 2.3 Polly
  • 2.4 Translate
  • 2.5 Comprehend
  • 2.6 Comprehend Medical
  • 2.7 SageMaker
  • 2.8 Forecast
  • 2.9 Kendra
  • 2.10 Personalize
  • 2.11 Textract
  • 2.12 Lex
  • 2.13 Connect
  • 2.14 考试总结

1 大数据

1.1 Kinesis家族

Kinesis家族有4个套件，主要是做流式处理。如果你关注过大数据flink、spark等组件，那么对Kinesis就不陌生，以下是Kinesis的作用：

• 处理流式大数据
• 适用于：日志处理、IoT、metrics、clickstream等场景
• 接近实时的数据处理
• 默认有3-AZ多可用区副本

其中有3个套件是经常组合在一起，如下图

• 通过Kinesis Data Streams接收来自外部数据
• 通过Kinesis Data Analytics进行数据分析处理
• 通过Kinesis Data Firehose将数据输送到其它存储做分析或备份