小令童鞋
·
【Flink】【更新中】状态后端和checkpoint
💡
原文中文，约2000字，阅读约需5分钟。
📝
内容提要
本文介绍了状态后端和checkpoint的配置和常见报错。状态后端是保存到本地的状态，checkpoint是将状态备份到第三方存储。建议配置state.backend为rocksdb，不开启state.backend.latency-track.keyed-state-enabled。常用的checkpoint配置有execution.checkpointing.interval、execution.checkpointing.mode、state.backend.incremental等。常见报错包括未完成的Checkpoint排队超过限制和部分任务未运行导致无法恢复checkpoint。
🎯
关键要点
- 状态后端是保存到本地的状态，checkpoint是将状态备份到第三方存储。
- 建议配置state.backend为rocksdb，不开启state.backend.latency-track.keyed-state-enabled。
- 常用的checkpoint配置包括execution.checkpointing.interval、execution.checkpointing.mode、state.backend.incremental等。
- execution.checkpointing.interval建议配置为1-10分钟。
- execution.checkpointing.mode建议使用EXACTLY_ONCE以保证精确一次。
- state.backend.incremental建议开启以支持增量checkpoint。
- execution.checkpointing.timeout建议设置为30分钟以避免超时。
- 常见报错包括未完成的Checkpoint排队超过限制和部分任务未运行导致无法恢复checkpoint。
➡️
