字节跳动豆包大模型团队与香港大学合作提出了ByteCheckpoint大模型Checkpointing系统，旨在提升大模型训练效率，并解决现有Checkpoint技术问题，性能显著提升。豆包大模型团队已发布豆包大模型并通过字节跳动云服务平台提供服务。

本文探讨了大型语言模型（LLMs）训练中的检查点技术，提出了懒惰异步多级方法和通用检查点技术，以提高训练效率和降低成本。通过贝叶斯优化和极端检查点压缩框架，显著提升了预训练能力和存储效率。此外，ServerlessLLM系统实现了高效的检查点加载和推理，延迟性能优于现有技术。