LoRA的鲁棒不变变换平衡优化
原文中文，约300字，阅读约需1分钟。发表于：。本研究解决了现有LoRA优化器缺乏变换不变性的问题，该缺陷导致学习效率低下和次优解的产生。本文提出了LoRA-RITE，一种新的自适应矩阵预调节方法，能够实现变换不变性，同时保持计算效率。实验证明，该方法在多项大型语言模型任务上取得了明显的性能提升，特别是在Gemma-2B模型中，替换Adam优化器后在Super-Natural Instructions上提高了4.6%的准确率。
研究比较了低秩适应（LoRA）与全精调在编程和数学领域的表现。结果表明，LoRA在大多数情况下不及全精调，但其正则化效果更强，能够更好地保持基础模型的任务表现，并生成多样化的结果。全精调学习到的扰动比LoRA高10-100倍，部分解释了两者的差距。最后，提出了LoRA精调的最佳实践建议。
