开源赛道太挤了！月之暗面开源新版Muon优化器
💡
原文中文，约3700字，阅读约需9分钟。
📝
内容提要
月之暗面开源了改进版Muon优化器，计算效率提升2倍，优于AdamW。新模型Moonlight在相同预算下表现更佳，支持大规模训练，无需调整超参数。
🎯
关键要点
- 月之暗面开源了改进版Muon优化器，计算效率提升2倍，优于AdamW。
- 新模型Moonlight在相同预算下表现更佳，支持大规模训练，无需调整超参数。
- Muon优化器在小型语言模型训练中表现出色，但在扩展到更大模型时性能提升减弱。
- 引入权重衰减和一致的RMS更新技术，使Muon能够在大规模训练中直接使用。
- Moonlight模型使用Muon进行了5.7万亿tokens的训练，刷新了当前的性能指标。
- Muon在训练中仅需约52%的训练FLOPs即可达到与AdamW相当的性能。
- 分布式Muon基于ZeRO-1的解决方案，优化了数据并行的优化器状态。
- 实验结果表明，使用Muon的模型在语言、数学和编码任务上显著优于使用AdamW的模型。
- Muon的权重更新在MoE模型中表现突出，提升了模型的多样性。
❓
延伸问答
Muon优化器相比于AdamW有什么优势？
Muon优化器的计算效率提升了2倍，且在小型语言模型训练中表现出色，尤其在大规模训练中无需调整超参数。
Moonlight模型的训练规模和效果如何？
Moonlight模型使用Muon进行了5.7万亿tokens的训练，刷新了当前的性能指标，在相同预算下表现优于其他模型。
Muon优化器在大规模训练中如何保持性能？
Muon通过引入权重衰减和一致的RMS更新技术，确保在大规模训练中能够直接使用，保持性能稳定。
Muon优化器的计算效率如何？
Muon优化器在训练中仅需约52%的训练FLOPs即可达到与AdamW相当的性能，显示出其高效性。
分布式Muon与普通的AdamW优化器有什么不同？
分布式Muon基于ZeRO-1的解决方案，优化了数据并行的优化器状态，引入了额外的操作以提高效率。
使用Muon优化器的模型在任务上表现如何？
使用Muon优化器的模型在语言、数学和编码任务上显著优于使用AdamW的模型，显示出更好的性能。
➡️
