增加模型容量的免费方式：参数高效微调的简单策略
内容提要
本文提出了一种新方法，通过低秩逼近和特征蒸馏模块提高预训练模型的参数效率，减少原始模型参数1/3至2/3，同时保持性能。研究比较了多种参数高效微调方法，强调在微调大型语言模型时的实际效率，并通过引入重要性评分机制和统一框架，优化了持续学习和迁移学习的效果，提升了模型的性能和鲁棒性。
延伸解读
参数高效微调的实际效率权衡
文章比较了40多篇参数高效微调方法，强调在微调大型语言模型时，实际效率不仅涉及参数数量，还包括计算时间和内存开销。例如，通过低秩逼近和特征蒸馏，参数减少1/3至2/3，但性能可能下降约0.6个点。读者需注意，不同方法在效率与性能间的权衡各异，选择时应根据任务需求和资源约束综合考虑。
持续学习中的重要性评分机制
针对持续学习场景，文章介绍了一种通过重要性评分仅更新最关键权重的方法。这有助于减少已训练知识的损失，提高现有持续学习方法的性能。对于需要模型不断适应新信息同时保留旧能力的应用，这一机制提供了实用思路，但具体效果可能因任务和模型结构而异。
统一框架下的设计选择与迁移
文章提出了一个统一框架，将多种参数高效迁移学习方法重构为对预训练模型特定隐藏状态的修改，并定义了设计维度。通过涵盖机器翻译、文本摘要等任务的实证研究，识别了重要设计选择，并允许设计元素在不同方法间转移，从而实现更高效的微调。这为研究者系统化改进方法提供了参考。
多任务微调与低资源策略
文章提到利用单个大型预训练模型同时微调多个下游生成任务，仅需每个任务额外2-3%的参数，即可维持或提升性能。此外，针对低资源和隐私约束条件，提出了语言转换微调策略，通过引入任务特定参数实现更少参数的微调。这些方法为资源有限场景提供了可行方案，但需注意其适用条件和潜在限制。
Q&A
如何通过低秩逼近提高预训练模型的参数效率？
低秩逼近通过压缩原始大模型，减少参数数量，通常可降低1/3至2/3，同时保持性能。
什么是重要性评分机制，它如何影响模型微调？
重要性评分机制仅更新最关键的权重，从而提高持续学习的效果，减少已训练知识的损失。
SPAFIT方法与其他参数高效微调方法相比有什么优势？
SPAFIT方法仅微调其他方法调整参数的一小部分，表现优于其他PEFT方法。
如何利用单个大型预训练模型同时微调多个任务？
通过在多个下游生成任务中使用单个大型预训练模型，可以提升内存有效性，并保持或提高微调性能。
本文提出的基于梯度的稀疏微调算法SIFT有什么特点？
SIFT算法揭示了参数梯度稀疏性的特性，并在多个任务上验证了其有效性。
在微调大型语言模型时，如何提高实际效率？
通过比较多种参数高效微调方法，强调在微调过程中优化计算和内存使用，从而提高实际效率。
