FlexDeMo: Decoupled Momentum Optimization for Global and Hybrid Sharded Training

本研究提出了一种名为FlexDeMo的混合策略，旨在优化大型神经网络模型的训练，特别是在分布式系统中。该方法通过在不同GPU之间进行本地同步，仅交换快速变化的梯度分量，从而改善节点间的通信。实验结果表明，FlexDeMo在验证损失方面与AdamW相当，证明了其有效性。