高效的测试时提示微调方法用于视觉-语言模型
内容提要
本文介绍了多种视觉-语言模型的适应性提示调整方法，包括测试时提示调整（TPT）、原型提示学习法（PTP）和自监督上下文学习（SINC），旨在提高模型的泛化能力和准确性，尤其在少样本情况下。研究表明，自增强提示调整（SEP）和稳健均值漂移（MTA）等新技术在多项任务中表现优越，显著提升了模型在真实场景中的适应性和效率。
延伸解读
方法演进：从TPT到MTA的测试时适应趋势
文章梳理了2022年至2024年视觉-语言模型测试时提示微调的发展脉络。早期TPT在单个测试样本上实时学习提示，提升CLIP零样本准确率3.6%；随后PTP、SINC、DuAl-PT等方法分别从原型学习、自监督上下文学习和双重对齐等角度改进。2024年的MTA则转向测试时数据增强，无需训练即可超越基于提示的方法，体现了该领域从依赖梯度更新向高效免训练策略的演进趋势。
SEP与MTA：提升泛化能力的两条技术路径
SEP通过自增强令牌将区分性先验融入文本和视觉编码器各层，缓解领域偏移，增强泛化。MTA则利用测试时数据增强，将每个增强视角的质量评估变量融入优化过程，无需置信度阈值等临界规则，实现免训练且无需调参。两者分别从提示学习和数据增强角度提升模型在真实场景中的适应性，但SEP依赖可学习令牌的调整，MTA更适用于独立或基于API的应用。
效率与部署：ZERO和MTA的实用优势
ZERO方法在单次前向传播中实现高准确性，速度约为现有技术的10倍，内存占用约为13倍少，适合资源受限场景。MTA无需繁琐训练，可轻松部署在零样本模型和最新少样本方法之上，在15个数据集上展示了系统和一致的改进。这些方法降低了计算开销，为实际应用提供了高效解决方案，但需注意其性能可能受具体任务和数据集影响。
Q&A
测试时提示调整（TPT）方法的主要优点是什么？
TPT方法可以在单个测试样本上实时学习适应性提示，提高CLIP模型的泛化能力，实验显示其准确率提升3.6%。
原型提示学习法（PTP）是如何工作的？
PTP通过定义图像原型和提示原型，利用潜在知识进行少样本图像识别任务，实现相似图像的相似提示。
自监督上下文学习（SINC）框架的优势是什么？
SINC框架在视觉-语言任务中无需特定任务微调，且在少样本数据情况下表现优于基于梯度的方法。
稳健均值漂移（MTA）方法的主要特点是什么？
MTA方法在测试时数据增强中超越基于提示的方法，优化过程无需繁琐的训练，展示了高效性和计算效率。
自增强提示调整（SEP）是如何提高模型性能的？
SEP通过调整可学习提示符令牌，将区分性先验知识融入模型，从而提高了模型的泛化能力和适应性。
零温度的测试时间适应（ZERO）方法的特点是什么？
ZERO方法在前向传播中实现高准确性，速度快且内存占用少，能够显著提高模型的效率。
