QK-Clip:让Muon在Scaleup之路上更进一步

📝

内容提要

四个月前,我们发布了Moonlight,在16B的MoE模型上验证了Muon优化器的有效性。在Moonlight中,我们确认了给Muon添加Weight Decay的必要性,同时提出了通过Upd...

🏷️

标签

➡️

继续阅读