通过提示对齐调整视觉 - 语言模型的候选标签
内容提要
本文探讨了候选伪标签学习方法（CPL）和标签对齐方法（LAMM）在提升视觉-语言模型（VLMs）无标签数据性能方面的应用。研究表明，利用大型语言模型（LLM）生成的类别描述和层次化提示学习方法，显著改善了多标签图像识别效果，尤其在零样本识别任务中表现突出。实验结果显示，该方法在多个数据集上超越了现有技术。
延伸解读
多标签识别中的零样本突破
文章提出了一种无需训练数据的多标签图像识别框架，利用预训练LLM的知识学习提示，使CLIP等VLM适应多标签分类。通过向LLM提问获取对象特性和背景知识，并采用层次化提示学习，在MS-COCO等数据集上零样本mAP提升超过4.7%。这为多标签识别提供了新思路，但需注意其依赖LLM生成描述的质量。
少样本场景下的提示学习优化
LAMM和DuAl-PT等方法通过标签对齐和双重对齐提示调整，显著提升了少样本场景下多模态提示学习模型的性能。这些方法结合大规模视觉语言模型和预训练LLM，在少样本识别和新样本泛化上表现卓越，为未来研究提供了基准。然而，其在实际应用中的计算成本和泛化边界仍需进一步验证。
置信度校准与提示组合的实用技巧
距离感知校准（DAC）通过调整温度值解决VLM置信度校准问题，且不影响推理速度。同时，约束提示调整实现了不同任务模型的提示代数组合，在UTZappos上平均提升8.45%准确率。这些技术增强了模型可靠性和复用性，但DAC对距离度量的敏感性以及提示组合的约束条件值得关注。
Q&A
候选伪标签学习方法（CPL）如何提高视觉-语言模型的性能？
CPL通过适当的候选伪标签细调视觉-语言模型，提升其在无标签数据上的性能，增强True标签的包含能力和类别平衡实例选择效果。
标签对齐方法（LAMM）在少样本场景中有什么优势？
LAMM结合分层损失显著提高了多模态提示学习模型的性能，尤其在少样本场景中表现优异。
如何利用大型语言模型生成类别描述来改善图像识别？
通过引入基于部分级别描述的图像和文本特征对齐方法，利用大型语言模型生成的类别描述，显著改善了多标签图像识别效果。
该研究在零样本多标签识别任务中取得了怎样的成果？
在多个公共数据集上，尤其在MS-COCO数据集上，该方法在零样本多标签识别任务中实现了超过4.7%的mAP提升。
什么是双重对齐提示调整（DuAl-PT），它的作用是什么？
DuAl-PT结合大规模视觉语言模型和预训练大型语言模型，在少样本识别和新样本泛化上取得了卓越性能。
软提示学习方法是如何提高模型性能的？
软提示学习方法通过最小化学习的软提示与手工提示之间的距离，使用第二交叉熵损失来提高模型性能。
