本文探讨了大型语言模型（LLMs）训练中的检查点技术，提出了懒惰异步多级方法和通用检查点技术，以提高训练效率和降低成本。通过贝叶斯优化和极端检查点压缩框架，显著提升了预训练能力和存储效率。此外，ServerlessLLM系统实现了高效的检查点加载和推理，延迟性能优于现有技术。