CounterCurate：通过反事实的例子增强物理和语义的视觉 - 语言组合推理能力
内容提要
该文综述视觉语言模型的反事实与组合推理研究，涵盖：利用GPT-4生成图像描述提升Winoground准确率；基于CLIP方向进行对抗编辑；SDS-CLIP增强组合推理；生成标签翻转反事实数据；提出文本定位与视听常识推理方法；构建COCO-Counterfactuals数据集；以及ViCor协同VLM与LLM提升视觉常识推断。
延伸解读
反事实数据生成的技术路线
文章汇总了多种生成反事实数据的方法，包括利用GPT-4生成图像描述、基于CLIP方向进行对抗编辑、使用扩散模型自动生成反事实图文对等。这些方法旨在通过可控的文本或图像修改，创造出挑战模型组合推理能力的样本，从而暴露模型在物理和语义理解上的不足。
评估基准与性能提升
Winoground和COCO-Counterfactuals等数据集被用于评估模型的组合推理能力。研究表明，通过反事实数据增强，模型在Winoground上的准确率最高可提升10%，并且COCO-Counterfactuals能有效挑战现有模型，同时作为训练数据可改善跨域通用性。
视觉常识推理的挑战与协作
视觉常识推理分为视觉常识理解和视觉常识推断。预训练视觉语言模型在理解上泛化能力强，但在推断上表现不佳。ViCor方法通过让大语言模型引导视觉语言模型关注相关视觉元素，在无需领域内微调的情况下提升了推断性能，为协同推理提供了新思路。
Q&A
CounterCurate 是什么？它主要解决什么问题？
CounterCurate 是一种通过反事实例子增强物理和语义视觉-语言组合推理能力的方法。它旨在提升大型视觉语言模型在组合推理任务上的表现，例如在 Winoground 数据集上，通过控制 GPT-4 生成图像描述并进行组合推理，获得了最高 10% 的准确率改进。
CounterCurate 使用了哪些具体技术来生成反事实数据？
CounterCurate 使用了多种技术：利用 GPT-4 生成图像描述并进行组合推理；通过 CLIP 空间方向指导对抗编辑；使用 SDS-CLIP 轻量级方法改善组合推理；生成语言多样且标签翻转的反事实数据；以及利用文本到图像扩散模型自动生成反事实例子，构建 COCO-Counterfactuals 数据集。
COCO-Counterfactuals 数据集是如何构建的？它有什么用途？
COCO-Counterfactuals 是基于 MS-COCO 数据集，利用文本到图像扩散模型自动生成对应对的反事实例子而构建的多模态反事实数据集。它通过人工评估验证了质量，并用于挑战现有模型，以及通过训练数据增强改善多模态视觉语言模型的跨域通用性。
ViCor 方法是如何提升视觉常识推理能力的？
ViCor 是一种协同预训练视觉语言模型（VLM）和大型语言模型（LLM）的方法。它将视觉常识推理分为视觉常识理解和视觉常识推断，在推断方面，LLM 主动引导 VLM 关注和收集相关视觉元素以支持常识推断。在两个 VCR 基准数据集上，ViCor 在不需领域内监督微调的情况下取得了优于其他方法的表现。
SDS-CLIP 是什么？它有什么优势？
SDS-CLIP 是一种轻量级且高效的方法，通过使用不同的图像参数化方法、生成模型和巧妙设计的蒸馏目标，来改善 CLIP 模型的组合视觉-语言推理能力。它在多个数据集上显示了显著的性能提升。
在视觉常识推理中，VLM 和 LLM 各自扮演什么角色？
在视觉常识推理中，预训练的 VLM 在视觉常识理解方面展示出强大的跨数据集泛化能力，但在视觉常识推断方面面临困难。LLM 则通过主动引导 VLM 集中关注和收集相关视觉元素，来支持潜在的常识推断，两者协同工作以提升整体性能。
