视觉语言预训练模型参数高效微调的实证研究
内容提要
规模化预训练视觉模型（PVMs）在视觉任务中表现优异，但传统微调方法面临计算和存储的挑战。研究人员探索了参数高效微调（PEFT），通过最小化参数修改来提升性能。文章回顾了PEFT的定义、方法分类及应用，强调其在医学图像分析和机器翻译中的有效性，并提出了新的微调框架和算法，展示了PEFT在不同任务中的潜力与挑战。
延伸解读
PEFT 方法分类与核心思路
文章将现有参数高效微调方法分为三类：基于添加的、基于部分的和基于统一的。基于添加的方法通过引入额外可训练模块（如适配器）来调整模型；基于部分的方法仅微调预训练模型的部分参数；基于统一的方法则寻求在统一框架下实现参数高效。这种分类有助于理解不同方法的设计哲学和适用场景。
PEFT 在跨领域的实证表现
实证研究表明，PEFT 在机器翻译和医学图像分析等任务中有效。在机器翻译中，当参数预算为 10% 时，使用适配器的方法能达到与全模型微调相近的效果；对于小型数据集，PEFT 甚至优于全模型微调。在医学图像分析中，超过 600 个控制实验显示，某些 PEFT 方法能带来高达 22% 的性能提升，证明了其实际应用价值。
新框架与算法进展
文章介绍了两个创新方向：GIST 框架通过引入 Gist token 和知识交互概念，增强 PEFT 方法对下游任务的理解能力；SIFT 算法则基于参数梯度稀疏性的发现，利用梯度信息进行稀疏微调，并在多个任务上验证了有效性。这些进展展示了 PEFT 在提升性能的同时，进一步降低计算和存储需求的潜力。
实践中的挑战与选型考量
尽管 PEFT 前景广阔，但实际应用仍面临挑战。例如，当调优参数数量减少时，PEFT 性能会下降，且下降幅度取决于语言对的关系；在数据过少的情况下，PEFT 方法可能收敛缓慢。此外，不同任务和模型规模下，方法效果各异，如 LoRA 在多项任务中保持较高性能。因此，选择 PEFT 技术时需综合考虑任务类型、数据可用性和参数预算。
Q&A
什么是参数高效微调（PEFT）？
参数高效微调（PEFT）是一种通过最小化参数修改来提升模型性能的方法，旨在超越传统完全微调的效果。
PEFT方法有哪些分类？
PEFT方法分为三类：基于添加的、基于部分的和基于统一的。
PEFT在医学图像分析中的表现如何？
PEFT在医学图像分析中表现出有效性，尤其在小型数据集上优于全模型调整。
GIST框架的主要特点是什么？
GIST框架通过引入Gist token和知识交互的概念，增强了PEFT方法在下游任务中的性能。
PEFT在机器翻译任务中的表现如何？
在机器翻译任务中，PEFT方法可以达到与全模型调整类似的效果，尤其在参数预算为10%时表现突出。
什么是稀疏增量微调算法（SIFT）？
稀疏增量微调算法（SIFT）是一种基于梯度的稀疏微调算法，旨在提高模型在多个任务上的有效性。
