MoRA: 参数高效微调的高阶更新
内容提要
该论文介绍了多种基于大规模预训练语言模型的微调技术，如MTLoRA、AutoLoRA、PLoRA和IncreLoRA，旨在提升模型性能和参数效率。研究表明，LoRA方法在保持基础模型表现的同时，增强了正则化效果，并提出了优化微调过程的最佳实践建议。
延伸解读
LoRA 与全精调的权衡
文章指出，在编程和数学任务上，LoRA 的表现通常不如全精调，但 LoRA 提供了更强的正则化效果，能更好地保持基础模型在目标领域之外的任务表现，并生成更多样化的结果。此外，全精调学习到的扰动秩比典型 LoRA 配置高 10-100 倍，这可能解释了性能差距。因此，选择 LoRA 还是全精调需权衡任务内性能与泛化能力。
提升 LoRA 性能的多种策略
为克服 LoRA 的局限性，研究者提出了多种改进方法：MTLoRA 通过矩阵变换重参数化提升性能；AutoLoRA 利用元学习自动选择最佳秩；PLoRA 通过积累低秩更新和动量卸载增强学习能力，最高达 LoRA 的 1.8 倍且不增加内存；IncreLoRA 根据模块重要性自适应添加参数，在低资源下表现优越；SoRA 动态调整内在秩并稀疏更新，保留 70% 参数和训练时间仍胜过基准。
优化微调过程的实用建议
文章提到，LoRA$+$ 通过为适配器矩阵 A 和 B 设置不同学习率，解决了 LoRA 的次优问题，带来 1-2% 的性能提升和最高约 2 倍的微调速度提升。LoRA-FA 则采用低内存权重更新，接近全精调准确性。这些方法为实际应用提供了高效微调的选项，但需根据任务需求和资源约束选择。
Q&A
MTLoRA是如何提高模型性能的？
MTLoRA通过矩阵变换的重新参数化方法在下游任务中显著提高模型性能。
AutoLoRA的主要特点是什么？
AutoLoRA利用元学习框架自动识别LoRA层的最佳秩，证明在自然语言处理任务中有效。
PLoRA是如何提升学习能力的？
PLoRA通过多次积累低秩更新矩阵和动量卸载策略，提升了学习能力而不增加内存使用。
IncreLoRA在低资源设置下的表现如何？
IncreLoRA根据模块重要性得分自适应添加可训练参数，在低资源设置下表现优越。
LoRA与全精调相比有什么优缺点？
LoRA在大多数情况下表现逊于全精调，但提供更强的正则化效果，能保持基础模型的任务表现。
LoRA$+算法的主要改进是什么？
LoRA$+算法通过设置不同学习率解决了LoRA的次优问题，提高了性能和微调速度。
