条件下的原型修正提示学习
内容提要
本文提出了结合检索机制和原型学习的多种提示学习方法，以提升视觉语言模型在少样本和领域泛化任务中的性能。实验结果表明，这些方法在多个数据集上显著提高了模型的鲁棒性和准确性，减少了对标注数据的需求。
延伸解读
检索增强提示学习的优势
RePrompt通过引入检索机制缓存下游任务的知识表示，在15个视觉数据集（包括11个少样本任务和4个域泛化基准）上进行了实验。结果表明，该方法在处理领域差异增加时能取得明显改进，说明检索增强能有效提升模型在少样本和领域泛化任务中的性能。
原型提示学习如何利用潜在知识
原型提示学习法（PTP）通过定义图像原型和提示原型，实现相似图像使用相似提示，从而有效利用预训练视觉语言模型中的潜在知识。这种方法能适应各种PVLM，并在少样本图像识别任务中表现出色，为提示学习提供了新思路。
降低计算成本与保持准确度的平衡
单阶段PCL框架将中间层标记嵌入作为提示查询，消除了额外前馈阶段，使训练和推理计算成本降低约50%，准确度仅下降不到1%。引入的查询池正则化损失仅在训练时应用，推理时无额外开销，在多个连续学习基准上优于两阶段方法约1.4%。
减少标注依赖与提升泛化能力
利用大型语言模型从图像生成标签进行预训练，减少了对昂贵标注数据的需求，并在图片文字检索上效果显著。同时，仅使用文本数据学习通用提示的方法实现了零样本转移，在4个基准测试上评估，显著提高了视觉语言模型的零样本泛化能力。
Q&A
什么是检索增强的提示学习方法（RePrompt）？
检索增强的提示学习方法（RePrompt）通过引入检索机制来缓存知识表示，显著提高了模型在少样本和领域泛化任务中的性能。
原型提示学习法（PTP）是如何工作的？
原型提示学习法（PTP）通过定义图像原型和提示原型，使相似图像获得相似提示，从而有效利用潜在知识进行图像识别。
如何减少对标注数据的需求？
通过利用大型语言模型从图像中生成标签，可以减少对昂贵标注数据的需求，并在图片文字检索中取得显著效果提升。
软提示学习方法的优势是什么？
软提示学习方法通过最小化学习的软提示与手工提示之间的距离，显著提高了模型性能，并能够训练虚拟类。
如何提高视觉语言模型的零样本泛化能力？
通过使用仅文本数据学习通用提示，并进行分类原型对齐和提示同步，可以显著提高视觉语言模型的零样本泛化能力。
新模型在领域差异数据集上的表现如何？
新模型在与预训练模型存在显著领域差异的数据集上表现优于最先进的方法，显示出更稳定的选择策略和适应机制。
