慢即是快：2. Adam的尽头还是Muon？
📝
内容提要
在上一篇文章《慢即是快：1. Shampoo的尽头是Muon？》中，我们从凸优化的平均收敛结论出发，建立了“正交最慢下降”框架，并用于改进任意Kronecker积形式的预条件优化器。结果发现，在...
➡️
