当扩展与 LLM 微调相遇：数据、模型和微调方法的影响
内容提要
该文综述大语言模型微调研究，发现微调扩展曲线包含“前幂阶段”，提出“预学习数据大小”改进扩展规律，用于低耗选优模型；参数高效微调可缩小多语言及小模型与大模型差距，但可能降低英语或高资源语言性能；稀疏微调优于LoRA；LoRA仍存灾难性遗忘，遗忘随参数与步数呈移位幂律增长。
延伸解读
微调扩展规律的新发现
文章指出，与预训练不同，微调的扩展曲线包含一个以前未观察到的“前幂阶段”。这一发现挑战了现有扩展规律的理论和实证限制。通过引入“预学习数据大小”概念，改进的扩展规律能更好地拟合实验结果，并用于低资源消耗的模型选择，避免其他方法可能带来的负相关选择。
参数高效微调的双面性
参数高效微调能提升大语言模型性能，无需大量资源。在多语言场景中，微调较小开源模型有时可弥合与较大模型的差距，但可能降低英语性能。同时，微调可提升低资源语言性能，却可能使高资源语言性能下降。此外，较高的LoRA秩和量化值有益于低资源语言。
稀疏微调与LoRA的对比
研究表明，对指令调整进行稀疏微调通常比流行的参数高效微调方法如LoRA表现更好，且运行时间相当。然而，LoRA仍存在灾难性遗忘问题，遗忘量随微调参数数量和更新步数呈移位幂律增长，且无法通过提前停止或调整参数数量来避免，这为未来研究指明了安全关键方向。
Q&A
微调的扩展曲线和预训练有什么不同？
与预训练不同，微调的扩展曲线不仅包括众所周知的“幂阶段”，还包括以前未观察到的“前幂阶段”。
如何用较少资源选择接近最优的微调模型？
通过引入“预学习数据大小”概念改进扩展规律，并利用该规律提出一种新颖的LLM选择算法，可以用较少的资源消耗选择接近最优的模型。
参数高效微调对多语言性能有什么影响？
参数高效微调可以缩小多语言及小模型与大模型之间的差距，但可能降低英语或高资源语言的性能，同时有时能提高低资源语言的性能。
稀疏微调和LoRA相比哪个更好？
实验证明，对指令调整进行稀疏微调通常比流行的参数高效微调方法如LoRA表现更好，并且在运行时间上可比较。
LoRA微调会导致灾难性遗忘吗？
是的，参数高效的微调策略仍然存在灾难性的遗忘问题，特别是使用LoRA时，遗忘量随着微调参数数量和更新步数呈现移位幂律的增长。
如何避免微调中的灾难性遗忘？
研究表明无法通过提前停止或调整微调参数数量来避免遗忘问题，这为未来评估和开发减轻遗忘问题的微调方案开辟了重要的安全关键方向。
