Flink 生产实践 性能问题

1. CDC 性能问题

问题描述:

ChunkSplitter split chunks 耗时导致CheckPoint 超时 job重启

解决方案:

• 增大CheckPoint超时间隔
• 增大Chunk.Size(需考虑数据源压力)

2. JM 和 TM 内存分配问题

问题描述:

当容器内存全部使用时，RM会kill 容器，重新申请容器，最终任务失败

解决方案:

• 调整内存分配策略，分别设置内存比例系数
• 合理设置状态清理周期