0
点赞
收藏
分享

微信扫一扫

Flink中State管理与恢复之CheckPoint原理

CheckPoint 原理

Flink 中基于异步轻量级的分布式快照技术提供了 Checkpoints 容错机制,分布式快照 可以将同一时间点 Task/Operator 的状态数据全局统一快照处理,包括前面提到的 Keyed State 和 Operator State。Flink 会在输入的数据集上间隔性地生成 checkpoint barrier, 通过栅栏(barrier)将间隔时间段内的数据划分到相应的 checkpoint 中。如下图:
Flink中State管理与恢复之CheckPoint原理_数据
从检查点(CheckPoint)恢复如下图:
Flink中State管理与恢复之CheckPoint原理_flink_02
Flink中State管理与恢复之CheckPoint原理_big data_03
Flink中State管理与恢复之CheckPoint原理_数据_04
Flink中State管理与恢复之CheckPoint原理_flink_05


举报

相关推荐

0 条评论