ColorSwap：一个用于多模态评估的颜色和词序数据集
内容提要
该文汇总多模态视觉语言研究进展，涵盖跨模态提示调参、短语基础模型、ShareGPT4V大规模图文数据集、组合图像生成、WuDaoMM多模态库、图像描述翻译、ITM鲁棒性基准、跨模态CutMix、视觉常识评估及Crossmodal-3600多语言数据集，推动视觉语言理解与生成。
延伸解读
多模态数据集的多样性
文章汇总了多个多模态数据集，如ShareGPT4V、WuDaoMM和Crossmodal-3600，它们分别针对不同需求：ShareGPT4V提供高质量描述性标题，WuDaoMM包含大量弱相关和强相关图文对，Crossmodal-3600覆盖36种语言。这些数据集的多样性反映了多模态研究对数据规模、质量和语言覆盖的不同侧重，为模型训练和评估提供了丰富资源。
评估基准与模型鲁棒性
文章提到ITM鲁棒性基准和视觉常识评估，前者通过欺骗性图像和标题测试模型，发现SOTA模型性能下降；后者表明多模态模型在属性分布重构上优于单模态，但存在报告偏差，且增加模型大小无益。这些评估揭示了当前模型的局限性，强调数据质量而非单纯模型规模对性能提升的关键作用。
跨模态对齐与数据增强
跨模态CutMix（CMC）和VLMixer方法展示了无需对齐图文对的数据增强和预训练策略，通过混合图像和文本语料库学习跨模态对齐。Cross-modal Prompt Tuning则利用填空问题在少量标注下实现强零样本学习。这些技术降低了对于大规模对齐数据的依赖，为多模态学习提供了高效途径。
Q&A
Cross-modal Prompt Tuning 是什么？它有什么作用？
Cross-modal Prompt Tuning 是一种基于图像和文本填空问题的视觉定位模型调参范式，能在少量标记数据下使模型具有强大的零样本或少样本学习能力，实现视觉与语言的理解与应用。
ShareGPT4V 数据集有什么特点？它如何提升多模态模型性能？
ShareGPT4V 是一个包含 120 万条高度描述性标题的大规模图文数据集，涵盖世界知识、对象属性、空间关系和美学评估。它通过替换 SFT 数据中的详细标题，显著提升了 LLaVA-7B、LLaVA-1.5-13B 和 Qwen-VL-Chat-7B 等模型在 MME 和 MMBench 基准上的性能，增益分别为 222.8/22.0/22.3 和 2.7/1.3/1.5。
WuDaoMM 是什么？它包含多少数据？
WuDaoMM 是一个大规模多模态库，用于 Vision-Language 解决方案的预训练模型，包含超过 650M 的弱相关和强相关的图片-文本对，实验证明它是一种高效的 VLPMs 数据集。
跨模态 CutMix（CMC）和 VLMixer 是什么？它们有什么优势？
跨模态 CutMix（CMC）是一种数据增强方法，用于隐式的跨模态对齐学习，能在没有对齐图像文本对的情况下从纯文本和图像语料库中学习。VLMixer 是一种新的无对齐图像文本预训练方法，通过将 CMC 与对比学习相结合，更好地对齐不同视图中的实例，实验结果表明 VLMixer 可以超过以前的无对齐 VLP 方法。
ITM 鲁棒性基准是什么？它发现了什么问题？
ITM 鲁棒性基准是一个新的评估基准，用于测试 ITM 模型的稳健性，加入了各种欺骗性图像和标题来检测模型。结果发现，添加这些图像和标题会降低 SOTA 模型的性能，预计这些结果能提高模型的鲁棒性和引入更多的评估方法。
Crossmodal-3600 数据集是什么？它有什么应用？
Crossmodal-3600 是一个包含 3600 张图片、涵盖 36 种语言地区的多语言图片字幕数据集，使用人工参考标题进行注释。它被应用于大规模多语言图片字幕模型的选择，并在使用 XM3600 作为自动度量的黄金参考时，展示出与人工评估更高的相关性结果。
