BriefGPT - AI 论文速递 · 2025-02-03T00:00:00Z

One-step full gradient suffices for low-rank fine-tuning, provably effective

📝

内容提要

本研究探讨了低秩适应（LoRA）的性能提升，发现特定谱初始化策略能够有效对齐并保证泛化。提出的LoRA-One算法在多个基准测试中显著优于传统LoRA，具有重要的理论和实证意义。

🏷️

标签

LoRA 低秩适应 性能提升 算法 谱初始化