Flora: 低秩适配器是隐形的梯度压缩器

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

本研究提出了Flora方法,通过重新采样投影矩阵实现高秩更新,减少优化状态的存储消耗,同时保持次线性空间复杂度。实验证明该方法的有效性。

🏷️

标签

➡️

继续阅读