通过提示对齐调整视觉 - 语言模型的候选标签
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
本文探讨了候选伪标签学习方法（CPL）和标签对齐方法（LAMM）在提升视觉-语言模型（VLMs）无标签数据性能方面的应用。研究表明，利用大型语言模型（LLM）生成的类别描述和层次化提示学习方法，显著改善了多标签图像识别效果，尤其在零样本识别任务中表现突出。实验结果显示，该方法在多个数据集上超越了现有技术。
❓
Q&A
候选伪标签学习方法（CPL）如何提高视觉-语言模型的性能？
CPL通过适当的候选伪标签细调视觉-语言模型，提升其在无标签数据上的性能，增强True标签的包含能力和类别平衡实例选择效果。
标签对齐方法（LAMM）在少样本场景中有什么优势？
LAMM结合分层损失显著提高了多模态提示学习模型的性能，尤其在少样本场景中表现优异。
如何利用大型语言模型生成类别描述来改善图像识别？
通过引入基于部分级别描述的图像和文本特征对齐方法，利用大型语言模型生成的类别描述，显著改善了多标签图像识别效果。
该研究在零样本多标签识别任务中取得了怎样的成果？
在多个公共数据集上，尤其在MS-COCO数据集上，该方法在零样本多标签识别任务中实现了超过4.7%的mAP提升。
什么是双重对齐提示调整（DuAl-PT），它的作用是什么？
DuAl-PT结合大规模视觉语言模型和预训练大型语言模型，在少样本识别和新样本泛化上取得了卓越性能。
软提示学习方法是如何提高模型性能的？
软提示学习方法通过最小化学习的软提示与手工提示之间的距离，使用第二交叉熵损失来提高模型性能。
🏷️
