去耦动量优化

本文解决了大型神经网络训练中必须依赖高速互连共享梯度的问题，通过去耦动量更新，允许加速器之间的优化器状态有控制的发散，证明在训练过程中无需同步完整的优化器状态和模型参数。研究结果表明，DeMo方法在带宽有限和异构硬件条件下也能显著提高收敛速度，且在与AdamW进行对比时，DeMo训练的模型性能相当或更优，并消除了对高速互连的需求。