iConFormer：基于输入条件适应的动态参数高效调优
内容提要
本文介绍了一种名为视觉提示调优（VPT）的高效方法，用于调整大规模Transformer模型。VPT通过引入少量可训练参数，提升了模型在下游任务中的表现，并降低了存储成本。研究探讨了多种参数高效微调（PEFT）方法，强调了其在视觉变换器适应中的成功应用，并提出了动态调整（DyT）和稀疏调优等新方法，以提高推理效率和模型性能。
延伸解读
从静态到动态：PEFT 的推理效率演进
文章梳理的多种参数高效微调方法，早期如 VPT、Convpass 主要关注减少可训练参数和存储成本，而 DyT 和 Sparse-Tuning 则进一步瞄准推理效率。DyT 通过标记分发器动态跳过冗余计算，在 VTAB-1K 上仅触发 71%-85% 的 FLOPs 即达到或超越现有方法；Sparse-Tuning 则稀疏保存信息标记并合并冗余标记，降低背景计算。这反映出 PEFT 研究正从“省参数”向“省计算”延伸，以应对大模型部署中的实际瓶颈。
适应模块的设计取向：通用与视觉专用之争
Convpass 的实验表明，为视觉模型定制适应模块（如卷积旁路）比通用模块更有效，这提示视觉 Transformer 的适应可能需要视觉先验。而 GIFT 通过微调多头自注意力的最终投影层并引入参数到聚类注意力，在参数高效的同时提供内置可解释性。两者路径不同：一个强调架构适配，一个强调可解释性，但都说明 PEFT 并非只有“加参数”一种思路，模块的位置与形式同样关键。
评估基准与效率权衡的共识
文章多次提及 VTAB-1K 和 FGVC 等基准，这些是衡量 PEFT 方法的主流测试集。从 VPT 到 DyT，多数方法在少样本或全样本图像分类上验证，并强调在准确性与参数效率间的平衡。例如，基于局部内在维度的框架在 20 个少样本数据集和 7 个全样本数据集上表现最佳。读者可关注这些基准上的 FLOPs、GPU 内存和训练时间指标，它们比单纯参数量更能反映实际部署成本。
Q&A
什么是视觉提示调优（VPT）？
视觉提示调优（VPT）是一种高效的调整大规模Transformer模型的方法，仅引入少量可训练参数，能够在多个下游任务中表现优于传统的完全微调方法。
VPT如何降低存储成本？
VPT通过引入少量可训练参数，减少了每个任务的存储需求，从而降低了整体存储成本。
动态调整（DyT）方法的主要特点是什么？
动态调整（DyT）方法通过轻量级适配器模块和标记分发器提高ViT适应的参数和推理效率，能够动态跳过不重要的标记，减少冗余计算。
Sparse-Tuning的优势是什么？
Sparse-Tuning通过稀疏保存信息标记，提高对前景的关注并降低背景区域的计算成本，实现了高效的微调和推断，满足了GPU内存和时间效率的要求。
可学习的记忆令牌在VPT中有什么作用？
可学习的记忆令牌用于增强视觉Transformer模型，使其能够适应新任务，同时保留先前学习任务的能力。
本文对参数高效微调（PEFT）方法的分类是怎样的？
本文将PEFT方法分为三类：基于添加的、基于部分的和基于统一的，提供了对这些方法的综合概述。
