通过测试时提示调优适应开放类的视觉-语言模型
内容提要
本文介绍了一种测试时提示调整（TPT）方法，旨在优化CLIP模型的提示，从而提升模型的泛化能力和准确率。实验结果表明，TPT在自然情况下的零样本准确率提高了3.6%。此外，提出了Prompt-Adapter和POLE策略，结合视觉-语言模型和提示学习，增强了模型在少样本和弱监督任务中的表现，并通过上下文提示学习进一步提高了视觉识别任务的效果。
延伸解读
TPT如何提升CLIP的泛化能力
TPT方法在单个测试样本上实时学习适应性提示，通过最小化模型预测的不确定度来动态调整提示。这种测试时优化策略使CLIP在自然情况下的零样本top-1准确率比以往方法提升了3.6%，并达到了使用额外训练数据的最新先进方法的性能水平。这表明测试时提示调整能有效增强模型对未知任务的泛化能力。
提示学习在弱监督分割中的潜力
POLE策略将提示学习引入弱监督语义分割（WSSS），实现了最先进的性能。该方法强调了语言-视觉模型在WSSS中的优势，以及提示学习在该问题中的潜力。通过利用视觉-语言模型的通用文本-图像嵌入，POLE能够以弱监督方式有效分割图像，为分割任务提供了新思路。
少样本适应与标签噪声鲁棒性
视觉语言模型通过少量样本的提示调整即可适应新的分类任务，且该过程对标签噪声表现出鲁棒性。Prompt-Adapter结合预训练提示调整与高效自适应网络，在公共数据集少样本情况下超越现有方法。DuAl-PT则结合大规模视觉语言模型与预训练大型语言模型，在少样本识别和新样本泛化上取得卓越性能，为未来研究提供了基准。
测试时适应策略的系统探索
研究系统探索了视觉-语言模型的测试时间适应性策略，包括提示工程和现有测试时间适应方法，以提高真实场景中的适应性和鲁棒性。通过测试时间提示调整，模型减轻了对任务无关上下文信息的依赖，强调任务相关的视觉线索。此外，基于部分级别描述引导的图像-文本特征对齐方法，在11个基准数据集上验证了其有效性，超越了现有方法。
Q&A
测试时提示调整（TPT）方法的主要目的是什么？
TPT方法旨在优化CLIP模型的提示，以提高模型的泛化能力和准确率。
TPT方法在零样本准确率上取得了怎样的提升？
TPT方法在自然情况下的零样本准确率提高了3.6%。
Prompt-Adapter模型的创新点是什么？
Prompt-Adapter模型将预训练的提示调整与高效自适应网络结合，提升了视觉-语言模型的适应性。
POLE策略在弱监督语义分割中表现如何？
POLE策略在弱监督语义分割问题上实现了最先进的性能。
如何通过少量样本调整视觉语言模型？
通过少量样本的提示调整，可以将视觉语言模型适应到新的分类任务中。
测试时间提示调整如何减轻对上下文信息的依赖？
测试时间提示调整成功减轻了对与任务无关的上下文信息的依赖，强调了与任务相关的视觉线索。
