LoRA的鲁棒不变变换平衡优化

BriefGPT - AI 论文速递 · 2024-10-27T00:00:00Z

研究比较了低秩适应（LoRA）与全精调在编程和数学领域的表现。结果表明，LoRA在大多数情况下不及全精调，但其正则化效果更强，能够更好地保持基础模型的任务表现，并生成多样化的结果。全精调学习到的扰动比LoRA高10-100倍，部分解释了两者的差距。最后，提出了LoRA精调的最佳实践建议。