视觉语言预训练模型参数高效微调的实证研究
原文中文,约400字,阅读约需1分钟。发表于: 。最近的研究应用了参数高效微调技术(PEFTs)来有效缩小预训练和下游任务之间的性能差距。该研究发现,对于与预训练一致的下游微调任务,数据规模不再影响性能,而可微参数规模的影响并不单调,这种观察可指导 PEFTs 的训练策略选择。
规模化预训练视觉模型(PVMs)在下游视觉任务中表现出很大的适应性。研究人员正在探索参数高效的微调(PEFT),以超越完全微调的性能。本调查提供了对视觉PEFT的综合概述和未来方向,对最新进展进行了回顾。方法分为基于添加的、基于部分的和基于统一的。介绍了常用的数据集和应用,并提出了未来研究的潜在挑战。