本文介绍了DiLoCo和LoCoDL等高效分布式优化算法，旨在提高语言模型训练的通信效率和鲁棒性。这些算法通过本地训练和压缩技术显著降低通信开销，同时保持训练质量。LoCo适配器通过补偿压缩误差，确保有效的梯度同步。实验结果表明，这些方法在大规模模型训练中显著提升了效率。