豆包大模型团队&港大新成果ByteCheckpoint为LLM万卡训练提效

字节跳动豆包大模型团队与香港大学合作提出ByteCheckpoint大模型Checkpointing系统。

ByteCheckpoint旨在提升大模型训练效率，减少训练进度损失。

随着训练规模和模型大小的增长，克服软硬件故障成为大模型迭代的重要因素。

Meta报告显示，Llama3 405B训练的故障率高，需频繁进行Checkpoint以减少损失。

现有Checkpoint技术存在I/O开销增加和不同训练框架割裂等问题。

ByteCheckpoint为PyTorch原生，兼容多个训练框架，支持高效读写和自动重新切分。

ByteCheckpoint在Checkpoint保存性能上提升高达529.22倍，加载性能提升3.51倍。

豆包大模型团队成立于2023年，致力于开发先进的AI大模型技术。

豆包大模型预计于2024年5月正式发布，现已通过字节跳动云服务平台提供服务。

截至7月，豆包大模型日均Tokens使用量超5000亿，外部企业客户使用量增长22倍。

基于豆包大模型的AI智能助手豆包在各大应用商店下载量排名第一。