本文探讨了流式数据处理中的交付语义，重点分析了Flink的checkpoint机制与Kafka的offset管理。建立了三层模型：Source、引擎和Sink，讨论了at-most-once、at-least-once和exactly-once的定义及修复手段。强调端到端语义由最弱环决定，指出即使使用exactly-once，Sink仍需支持2PC或幂等操作，以避免重复写入。

Meta的LLaMA-3报告显示，405B模型在54天内发生466次中断，主要由于GPU故障。关键在于高效的checkpoint机制，包括异步写入和分布式存储。有效的故障容忍策略如热备节点、健康检查和自动识别慢节点，可以优化恢复时间，提高有效训练时间，从而降低成本，确保训练按期完成。