仅使用文本监督在视觉 - 语言模型中学习提示
内容提要
该文综述视觉语言模型（如CLIP）的提示学习方法，重点介绍无监督提示学习UPL：无需提示工程即可提升迁移性能，在ImageNet等11个数据集上优于原始CLIP，增强版可媲美8-shot CoOp与TIP-Adapter。文中还涉及基于大语言模型采样文本、CoOp、上下文提示学习、LLaMP、视觉提示与文本适配器集成、多样上下文学习、GPT-4生成描述及软提示学习等方法，均能在多数据集上提升零样本或少样本分类表现。
延伸解读
无监督提示学习如何避免提示工程
UPL 的核心是在不依赖人工设计提示的情况下，利用文本监督提升 CLIP 类模型的迁移性能。文章指出，UPL 在 ImageNet 等 11 个数据集上优于原始 CLIP，增强版甚至能与 8-shot CoOp 和 8-shot TIP-Adapter 竞争。这意味着在标注样本极少或没有时，UPL 提供了一种减少提示工程成本的替代方案，但文章未说明其具体实现细节和计算开销。
从手工提示到学习提示的演进脉络
文章梳理了多条提示学习路线：CoOp 用可学习向量替代手工提示，上下文提示学习动态对齐图像局部特征，LLaMP 借助大语言模型生成提示，软提示学习则通过第二交叉熵损失拉近学习提示与手工提示的距离。这些方法共同表明，提示正从固定模板转向可训练、可生成的组件，但各自适用的任务和数据集规模在文中并未统一比较。
视觉与文本提示的集成策略
文章提到一种自适应集成方法，根据迁移难度结合视觉提示的类别可分性与文本适配器的任务适应能力，在多个基准上优于所有基线，尤其在未知任务上表现有效。这提示读者：单一提示方式可能不够，按任务难度动态组合通用知识和任务特定知识是提升泛化性的一个方向，但文章未给出集成权重的具体设计或失败案例。
GPT-4 生成描述用于 CLIP 适配的潜力与局限
文章展示了用 GPT-4 生成视觉描述性文本，并用于适配 CLIP 下游任务。在专门的细粒度数据集上，0-shot 迁移准确率相比 CLIP 默认提示有显著提升，还设计了一个简单的 few-shot 适配器来选择最佳句子构建分类器。不过，文章没有说明生成描述的质量控制、成本或对非细粒度数据集的普适性，读者需注意其结论主要基于特定实验设置。
Q&A
UPL是什么？它有什么作用？
UPL是一种无监督提示学习方法，旨在避免提示工程并提高类似CLIP的视觉语言模型的迁移性能。在ImageNet等11个数据集上，UPL优于原始CLIP，增强版甚至能与8-shot CoOp和8-shot TIP-Adapter竞争。
CoOp方法如何解决CLIP在下游任务中的问题？
CoOp是一种基于学习的方法，用于将CLIP视觉-语言模型应用于下游图像识别任务。它通过学习提示来解决使用自然语言描述类别进行训练时领域专业性强、耗时的问题，并证明其比手工制作的提示更好。
LLaMP是什么？它在低样本图像分类中表现如何？
LLaMP代表大型语言模型作为提示学习者，通过整合LLMs提升预训练视觉-语言模型在低样本图像分类中的能力。在11个数据集上的零样本和小样本图像分类任务中，LLaMP取得了更好的性能。
如何利用GPT-4生成的视觉描述文本来适应CLIP？
使用GPT-4生成视觉描述性文本，并将其用于适应CLIP进行下游任务。与CLIP的默认提示相比，在专门的细粒度数据集上，0-shot传输准确性有显著改进。还设计了一个简单的few-shot适配器，学习选择最佳句子来构建可泛化的分类器。
软提示学习方法如何提高视觉-语言模型的性能？
软提示学习通过使用第二交叉熵损失来最小化学习的软提示与手工工程提示之间的距离，从而提高模型性能，并能够训练虚拟类。在11个数据集上的评估表明，该方法显著优于先前的软提示工作，并在大多数数据集上匹配或超越手工制作提示和CLIP的新类准确性。
上下文提示学习框架是什么？它有什么特点？
上下文提示学习是一种用于多模态学习的框架，训练可对齐图像本地化特征并能适应当前任务的动态提示。应用于多个标准和少样本数据集上，展示了比现有技术更优越的性能和强大的适用性。
