iVPT：通过跨层动态连接改进视觉提示调整中的任务相关信息共享
内容提要
本文提出了一种改进的视觉提示调整方法（VPT），通过优化预训练模型在下游任务中的表现，显著提升了自我监督预训练的适应性。动态视觉提示调整（DVPT）为每个图像生成实例级标记，提升了识别任务的性能。同时，提示凝聚技术有效减少了提示数量，保持了模型的准确度。整体上，VPT方法在多个基准测试中优于传统微调方法。
延伸解读
VPT 的核心优势与适用场景
视觉提示调整（VPT）通过在输入空间引入少量可训练参数来适应大规模 Transformer 模型，相比全量微调，它显著降低了每个任务的存储成本。文章指出，VPT 在任务目标差异大或数据分布相似时表现优异，其成功不仅源于过拟合和优化，更因为保留了原始特征并添加了参数。因此，当计算资源有限或需要快速适应多个下游任务时，VPT 是一个高效的选择。
动态提示与提示凝聚的协同作用
动态视觉提示调整（DVPT）为每个图像生成实例级标记，捕捉独特视觉特征，从而提升识别性能。然而，提示数量并非越多越好，过多提示可能导致性能下降。提示凝聚技术能减少约 70% 的提示数量，同时维持准确度。两者结合，既保证了实例适应性，又控制了计算开销，为实际部署提供了平衡方案。
跨层动态连接的设计思路
文章提到为每个 ViT block 学习对应的 gate，以调整其对 prompt tokens 的影响。这种跨层动态连接机制允许模型在不同层级自适应地融合提示信息，而不是简单地在输入层插入提示。通过优化关键参数和初始化，该方法在 FGVC、VTAB 和 ADE20K 等基准上取得了更好性能，体现了细粒度控制对提示调整的重要性。
实验表现与局限
在多个基准测试中，VPT 方法优于传统微调，DVPT 甚至在 19 个下游任务中的 17 个超越了完全微调。然而，文章也指出增加提示数量并不能带来线性性能提升，且 VPT 的成功并非仅归因于过拟合和优化。这些发现提醒研究者和实践者，提示调整的效果受任务差异和数据分布影响，需根据具体场景调整提示策略。
Q&A
什么是视觉提示调整方法（VPT）？
视觉提示调整方法（VPT）是一种通过优化预训练模型在下游任务中的表现来提高模型效果的技术。
动态视觉提示调整（DVPT）如何提升识别任务的性能？
DVPT通过为每个图像生成实例级标记，捕捉独特的视觉特征，从而提升识别任务的性能。
提示凝聚技术的作用是什么？
提示凝聚技术有效减少了提示数量，同时保持了模型的准确度，防止性能下降。
VPT方法与传统微调方法相比有什么优势？
VPT方法在多个基准测试中表现优于传统微调方法，且在存储成本上更具优势。
VPT在自我监督预训练中的适应性如何？
VPT显著提升了自我监督预训练的适应性，优化了预训练模型在下游任务中的表现。
VPT在不同数据集上的表现如何？
VPT在19个下游任务中有17个超越了完全微调的性能，显示出其广泛的适用性。
