字节跳动豆包大模型团队与香港大学合作提出了ByteCheckpoint大模型Checkpointing系统，旨在提升大模型训练效率，并解决现有Checkpoint技术问题，性能显著提升。豆包大模型团队已发布豆包大模型并通过字节跳动云服务平台提供服务。

本文介绍了ServerlessLLM，一种用于大型语言模型的本地化服务器推理系统，通过优化检查点加载和推理实现高效性能，实验结果显示其延迟性能超过现有技术系统10-200倍。