本研究探讨了低秩适应(LoRA)在微调预训练模型时的学习动态,提出了基于梯度流的分析方法。通过谱初始化,改善了原模型与目标矩阵的错位,理论证明小规模谱初始化能以任意精度收敛,实验结果验证了该方法的有效性。
本研究探讨了低秩适应(LoRA)的性能提升,发现特定谱初始化策略能够有效对齐并保证泛化。提出的LoRA-One算法在多个基准测试中显著优于传统LoRA,具有重要的理论和实证意义。
完成下面两步后,将自动完成登录并继续当前操作。