SDPT：融合视觉语言预训练模型的同步双提示调优
内容提要
本文介绍了一种基于多模态深度共生的提示微调方法，结合视觉和语言模型，提升了图像识别和泛化能力。提出的动态视觉提示调整框架在多项下游任务中表现优异，超越了传统微调方法，展现出良好的参数效率和适应性。
延伸解读
多模态提示微调的技术脉络
文章梳理了从2021年到2024年多模态提示微调的发展，包括Cross-modal Prompt Tuning、DVP、UPT、DPT、SPT、DuAl-PT、DAPT和DVPT等。这些方法共同关注如何高效地将大规模预训练视觉-语言模型适配到下游任务，核心思路是通过提示调优减少全参数微调的成本，同时保持或提升性能。
动态视觉提示的突破性表现
DVPT框架为每个图像生成动态的实例级标记，以捕捉独特视觉特征。实验表明，在19个下游识别任务中，DVPT有17个超越了完全微调的性能，同时保持了高参数效率。这提示动态、实例级的提示设计可能比静态提示更适应视觉任务的多样性。
泛化能力的提升路径
DAPT通过分布感知对齐两种模态的特征空间，显著改善了泛化能力；DuAl-PT结合大规模视觉语言模型和预训练语言模型，在少样本识别和新样本泛化上表现卓越。这些工作表明，对齐模态特征空间和利用双向融合是提升领域外泛化的有效手段。
参数高效迁移学习的趋势
文章多次提到参数高效迁移学习（PETL），旨在将大规模预训练模型适配下游任务时减少可调参数。DVPT、SPT、UPT等方法均属于此范畴，它们在保持参数效率的同时，在视觉或自然语言处理任务上取得了优于传统微调的效果，反映了该领域向高效、自适应方向发展的趋势。
Q&A
SDPT方法的主要特点是什么？
SDPT方法结合了视觉和语言模型，通过多模态深度共生的提示微调，提升了图像识别和泛化能力。
什么是双重对齐提示调整（DuAl-PT）？
双重对齐提示调整（DuAl-PT）是一种结合大规模视觉语言模型和预训练大型语言模型的方法，旨在提升少样本识别和新样本泛化的性能。
动态视觉提示调整框架（DVPT）如何提高模型性能？
DVPT为每个图像生成动态实例级标记，捕捉独特的视觉特征，从而更适合下游视觉任务，显著提升了模型性能。
分布感知的提示微调（DAPT）有什么优势？
DAPT通过对齐模态特征空间，显著改善了模型的泛化能力，提升了在多项下游任务中的表现。
半参数化的提示微调方法（SPT）是如何工作的？
SPT通过内存库检索提示，结合离散提示进行微调，已在自然语言处理任务中证明了其有效性。
Unified Prompt Tuning（UPT）如何优化跨模态提示？
UPT通过学习小型神经网络联合优化跨模态提示，取得了良好的学习效果，特别是在视觉数据集上表现出色。
