小红花·文摘 - 小红花技术领袖俱乐部

本文探讨了Muon优化器的构建，首先在谱范数约束下进行矩阵参数的最速下降，然后引入正交约束以保持参数为正交矩阵，最终得出适用于正交性优化场景的更新规则。

流形上的最速下降：2. Muon + 正交

科学空间|Scientific Spaces ·