小令童鞋
·
【Flink】【更新中】状态后端和checkpoint
内容提要
本文介绍了状态后端和checkpoint的配置和常见报错。状态后端是保存到本地的状态，checkpoint是将状态备份到第三方存储。建议配置state.backend为rocksdb，不开启state.backend.latency-track.keyed-state-enabled。常用的checkpoint配置有execution.checkpointing.interval、execution.checkpointing.mode、state.backend.incremental等。常见报错包括未完成的Checkpoint排队超过限制和部分任务未运行导致无法恢复checkpoint。
关键要点
-
状态后端是保存到本地的状态，checkpoint是将状态备份到第三方存储。
-
建议配置state.backend为rocksdb，不开启state.backend.latency-track.keyed-state-enabled。
-
常用的checkpoint配置包括execution.checkpointing.interval、execution.checkpointing.mode、state.backend.incremental等。
-
execution.checkpointing.interval建议配置为1-10分钟。
-
execution.checkpointing.mode建议使用EXACTLY_ONCE以保证精确一次。
-
state.backend.incremental建议开启以支持增量checkpoint。
-
execution.checkpointing.timeout建议设置为30分钟以避免超时。
-
常见报错包括未完成的Checkpoint排队超过限制和部分任务未运行导致无法恢复checkpoint。
