【大模型基础设施工程】10：Checkpoint 与故障容忍
💡
原文中文，约32300字，阅读约需77分钟。
📝
内容提要
Meta的LLaMA-3报告显示，405B模型在54天内发生466次中断，主要由于GPU故障。关键在于高效的checkpoint机制，包括异步写入和分布式存储。有效的故障容忍策略如热备节点、健康检查和自动识别慢节点，可以优化恢复时间，提高有效训练时间，从而降低成本，确保训练按期完成。
🎯
关键要点
- Meta的LLaMA-3报告显示405B模型在54天内发生466次中断，主要由于GPU故障。
- 高效的checkpoint机制，包括异步写入和分布式存储，是确保训练按期完成的关键。
- 有效的故障容忍策略如热备节点、健康检查和自动识别慢节点，可以优化恢复时间，提高有效训练时间。
- 一次1小时的中断在1.6万卡H100上直接成本为32000美元，恢复时间的延长会导致模型上线延迟，影响收益。
- 故障谱系包括GPU故障、互联故障、主机和电源故障等，必须有分层的检测和对策。
- Checkpoint的大小和写入路径是关键，必须分片、异步和三层存储以应对大模型的需求。
- 恢复时间目标是10分钟内，依靠热备池、并发读和lazy NCCL初始化来实现。
- 健康检查贯穿启动前、运行中和结束后，确保系统的稳定性和可靠性。
- 容错机制以Checkpoint+Restart为主，Elastic和in-place为辅，自动化识别和驱逐慢节点是标准操作。
- 经济上的ROI非常高，投入容错工程能显著降低训练成本和提高效率。
❓
延伸问答
LLaMA-3模型在训练过程中遇到的主要故障是什么？
LLaMA-3模型在训练过程中主要遇到的故障是GPU故障，占比约58%。
什么是checkpoint机制，它在训练中有什么作用？
Checkpoint机制是定期保存模型状态的技术，确保在故障发生时可以快速恢复训练，减少损失。
如何优化模型训练的恢复时间？
可以通过热备节点、并发读取和lazy NCCL初始化等方法来优化模型训练的恢复时间，目标是10分钟内恢复。
故障容忍策略中有哪些有效的措施？
有效的故障容忍策略包括热备节点、健康检查和自动识别慢节点等。
一次中断的经济成本大约是多少？
一次1小时的中断在1.6万卡H100上直接成本为32000美元。
如何检测和处理慢节点（straggler）？
可以通过监控每个节点的step时间，识别出慢节点，并将其从作业中踢出，使用热备节点替代。
➡️
