基于流式幂迭代的Muon实现:2. 加速
📝
内容提要
在第一篇文章《基于流式幂迭代的Muon实现:1. 初识》中,笔者将流式幂迭代(Streaming Power Iteration)单独抽象出来,作为一种新的Muon实现方式。由于新方案是直接对S...
➡️
在第一篇文章《基于流式幂迭代的Muon实现:1. 初识》中,笔者将流式幂迭代(Streaming Power Iteration)单独抽象出来,作为一种新的Muon实现方式。由于新方案是直接对S...