LoRA、完全微调到底有何不同？MIT 21页论文讲明白了
内容提要
本文比较了完全微调与低秩自适应（LoRA）在大型语言模型微调中的差异。研究表明，LoRA模型存在“侵入维度”，导致其在持续学习中表现不佳，遗忘更多预训练信息。尽管LoRA在特定任务上表现良好，但完全微调在泛化能力和适应性方面更强。
关键要点
-
本文比较了完全微调与低秩自适应（LoRA）在大型语言模型微调中的差异。
-
LoRA模型存在“侵入维度”，导致其在持续学习中表现不佳，遗忘更多预训练信息。
-
尽管LoRA在特定任务上表现良好，但完全微调在泛化能力和适应性方面更强。
-
研究表明，完全微调与LoRA产生的权重矩阵奇异值分解结构有显著不同。
-
LoRA训练的权重矩阵中出现了称为“侵入维度”的新的高秩奇异向量，而完全微调中则没有。
-
具有侵入维度的LoRA微调模型在适应任务分布之外的表现不如完全微调模型。
-
低秩LoRA适合下游任务分布，但完全微调和高秩LoRA能提高模型的泛化能力。
-
使用LoRA定制通用LLM会导致模型失去一些泛化能力，因为它们增加了侵入维度。
-
LoRA和完全微调在结构上产生不同的参数更新，影响模型的学习效果。
-
在持续学习中，LoRA模型的适应能力较差，容易遗忘之前的任务。
-
研究发现，LoRA的秩越高，遗忘行为越少，接近完全微调的效果。
延伸解读
完全微调与LoRA的适用场景
完全微调和LoRA各有优劣，适用于不同的任务场景。LoRA在特定任务上表现良好，适合参数较少的情况，但在泛化能力和持续学习方面不如完全微调。因此，在选择微调方法时，需考虑任务的复杂性和模型的适应能力。
侵入维度的影响
LoRA模型中出现的侵入维度会导致模型在面对新任务时遗忘更多的预训练信息。这意味着在使用LoRA进行微调时，可能需要额外关注模型的持续学习能力，尤其是在任务分布变化较大的情况下。
秩的选择与模型表现
研究表明，LoRA的秩选择对模型的遗忘行为有显著影响。较低的秩可能导致更大的遗忘，而适中的秩（如r=64）则能在保持良好性能的同时，减少遗忘。因此，选择合适的秩是优化模型表现的关键。
延伸问答
LoRA和完全微调的主要区别是什么？
LoRA模型存在侵入维度，导致其在持续学习中表现不佳，而完全微调在泛化能力和适应性方面更强。
什么是侵入维度，它对LoRA模型有什么影响？
侵入维度是LoRA训练中出现的高秩奇异向量，导致模型在适应新任务时遗忘更多预训练信息。
在特定任务上，LoRA的表现如何？
尽管LoRA在特定任务上表现良好，但其泛化能力和适应性不如完全微调。
为什么完全微调的模型在持续学习中表现更好？
完全微调的模型没有侵入维度，能够更好地保持预训练信息，从而在持续学习中表现更佳。
LoRA的秩对模型的遗忘行为有什么影响？
LoRA的秩越高，遗忘行为越少，接近完全微调的效果，尤其在秩达到2048时，侵入维度消失。
使用LoRA微调通用LLM会有什么风险？
使用LoRA微调通用LLM可能导致模型失去一些泛化能力，因为它增加了侵入维度。
