六千字详解 Flink checkpoint 执行流程及优化方案

大家好，我是土哥。

今天为大家带来 Flink checkpoint 核心知识点以优化方案，本文主要从以下几方面进行介绍：

1 Checkpoint 执行流程

2 checkpoint 执行失败问题分析

3 非对齐checkpoint 优化方案

4 动态调整 buffer 大小

5 通用增量快照

1 checkpoint 执行流程

如上图所示，chechpoint 在执行过程中，可以简化为可以简化为以下四大步：

1. 在数据流中插入 checkpoint barrier；
2. 每执行到当前算子时，对算子 state 状态进行同步快照与异步上传；
3. 当算子是多输入时，要进行 barrier 对其操作；
4. 所有算子状态都已上传，确认 checkpoint 完成；

2 checkpoint 执行失败问题分析

我们知道，Flink 机制是基于 Chandy-Lamport 算法实现的 checkpoint 机制，在正常情况下，能够实现对正常处理流程非常小的影响，来完成状