CVPT：跨注意力助力视觉提示调优适应视觉任务
内容提要
本文介绍了视觉提示调整（VPT）及其变体，强调其在大规模Transformer模型调整中的高效性。VPT通过引入少量可训练参数，提升了模型在图像分类和密集预测任务中的表现，优于传统的微调方法。研究还探讨了VPT在不同任务和数据集上的应用，展示了其在性能和存储成本上的优势。
延伸解读
VPT的演进脉络
文章按时间顺序梳理了视觉提示调整（VPT）的发展：从2022年3月提出VPT，到7月基于提示调节的方法，再到11月多任务视觉语言提示调整（MVLPT），以及2023年的E^2VPT、VPA，直至2024年的iVPT。这一脉络显示VPT从单一任务适应逐步扩展到多任务、测试时自适应和跨层信息共享，反映了该领域在提升参数效率和泛化能力上的持续探索。
性能优势与适用场景
文章指出，VPT在图像分类和密集预测任务中表现优于传统微调，且存储成本更低。一项对19个数据集的分析发现，VPT在任务目标差异大或数据分布相似时表现优异，其成功不仅源于过拟合和优化，更因为保留了原始特征并添加了参数。这表明VPT特别适合任务间差异显著或数据分布接近的场景，为实际应用提供了选择依据。
效率优化与参数控制
为提升效率，E^2VPT通过引入可学习的键值提示和视觉提示，并设计提示修剪程序来移除低重要性提示，在VTAB-1k上仅使用0.32%的模型参数即达到优于基线的性能。iVPT则通过跨层动态连接和动态聚合模块实现任务相关信息的有效共享。这些方法表明，在保持性能的同时大幅减少可训练参数是VPT研究的重要方向。
Q&A
什么是视觉提示调整（VPT）？
视觉提示调整（VPT）是一种高效的调整大规模Transformer模型的方法，仅引入少量可训练参数，旨在提升模型在下游视觉任务中的表现。
VPT与传统微调方法相比有什么优势？
VPT在图像分类和密集预测任务中表现优于传统微调方法，并且降低了每个任务的存储成本。
多任务视觉语言提示调整（MVLPT）是什么？
MVLPT是一种将跨任务知识纳入提示调整算法的方法，在20个视觉任务上表现优于现有方法。
有效和高效的视觉提示调整（E^2VPT）是如何提高模型性能的？
E^2VPT通过引入可学习的提示和设计提示修剪程序，提升模型微调效果并提高模型效率。
视觉提示适应（VPA）框架的主要特点是什么？
VPA框架通过测试时间自适应实现视觉提示的普遍性，提升模型的泛化能力和领域适应能力。
iVPT方法的创新之处在哪里？
iVPT通过跨层动态连接实现任务相关信息的有效共享，并引入关注强化机制，增强图像令牌与提示令牌的结合。
