DIVE：面向描述性和多样性的视觉常识生成
内容提要
本文介绍了VisualComet框架，旨在预测图像中的事件和人物意图，并建立了一个包含140万个文本描述和图像的数据集。研究探讨了多模态模型在视觉常识生成中的应用，提出了新的预训练任务以提升性能，强调了数据多样性对生成文本的影响，并提出了结合视觉-语言模型的细粒度常识提取任务。
延伸解读
视觉常识生成的技术演进
从2020年的VisualComet到2024年的多模态增强方法，视觉常识生成任务在模型架构和数据集构建上持续演进。VisualComet建立了包含140万文本描述的数据集，KM-BART引入知识增强的多模态预训练，后续研究则聚焦于数据偏差和多样性问题。这一脉络显示，该领域正从单纯提升模型性能转向对数据质量和评估方法的反思。
数据多样性比模型规模更关键
文章指出，适当增加模型大小并不能提高视觉常识性能，关键在于数据。自动视频描述领域的研究也发现，数据集的语言多样性直接影响生成文本的泛化性。这意味着，单纯扩大模型参数可能收效有限，而采集更具多样性的数据、改进评估指标，才是提升视觉常识生成效果的重要方向。
细粒度常识提取的新任务
2024年提出的视觉常识发现（VCD）任务，系统定义了视觉常识类型，并构建了包含10万张图像和1400万对象-常识对的数据集。结合视觉-语言模型与指令调整的VCDM模型在隐含常识发现上优于GPT-4V，表明针对细粒度常识的专门化方法能有效弥补通用大模型的不足，为视觉常识评估和视觉问答等下游任务提供支持。
Q&A
VisualComet框架的主要功能是什么？
VisualComet框架用于预测图像中的事件和人物意图，并建立了一个包含140万个文本描述和图像的数据集。
KM-BART模型是如何提升视觉常识生成性能的？
KM-BART模型通过多模态输入推理常识知识，并开发新的预训练任务来提升视觉常识生成性能。
数据集的语言多样性对生成文本有什么影响？
数据集的语言多样性对生成文本的泛化性有重要影响，推荐多样性采集新数据的方法。
视觉常识发现任务的目的是什么？
视觉常识发现任务旨在提取图像中不同对象包含的细粒度常识。
如何增强大型语言模型的视觉常识能力？
通过生成多个图像并将其与模型的决策过程相融合的方法，可以增强大型语言模型的视觉常识能力。
研究中使用了哪些模型来改善文本生成的流畅性和特定性？
研究中使用了BART和T5模型来改善文本生成的流畅性和特定性。
