Flink Checkpoint/Savepoint对比

Flink Checkpoint/Savepoint对比

💡 原文中文,约800字,阅读约需2分钟。
📝

内容提要

Flink提供了Checkpoint和Savepoint两种机制来保证作业的容错性。Savepoint是一种特殊的Checkpoint,用于手动触发并持久化存储结果,主要用于避免状态丢失。Checkpoint是由Flink runtime定时触发并自动清理的,而Savepoint的触发和清理由用户掌控。由于Checkpoint的频率较高,Flink对其格式进行了优化,但耦合性较强。Savepoint是全量的,不支持增量。Savepoint更关注可移植性和版本兼容性。

🎯

关键要点

  • Flink提供Checkpoint和Savepoint两种机制以保证作业的容错性。

  • Savepoint是一种特殊的Checkpoint,允许手动触发并持久化存储结果,主要用于避免状态丢失。

  • Checkpoint由Flink runtime定时触发并自动清理,用户无需介入。

  • Savepoint的触发和清理由用户掌控。

  • Checkpoint的频率高,格式经过优化,但耦合性强,不支持扩容和跨版本兼容。

  • Savepoint是全量的,不支持增量,关注可移植性和版本兼容性。

  • Checkpoint通常在秒级频繁触发,适合大规模作业的状态管理。

➡️

继续阅读