利用分类数据集和它们的语义层次对视觉语言模型进行开放式视觉问答基准测试
内容提要
综述视觉问答（VQA）研究，涵盖数据集、深度学习模型与应用挑战；指出预训练视觉语言模型存在分布偏移，生成模型对数据变化更稳健；提出基于大语言模型的评估指标、知识驱动评估方法及时尚领域VQA系统，并关注时间泛化与多模态问答方向。
延伸解读
评估指标革新：LLM 提升 VQA 评估与人类判断的相关性
文章指出，借助大型语言模型的上下文学习能力，研究者提出了新的 VQA 评估指标，该指标在多个模型和基准测试中与人类判断的相关性更好。这有助于更准确地衡量 VQA 研究进展，避免传统自动指标因严格性而惩罚正确响应的问题。
分布偏移下的模型稳健性：生成模型更适应数据变化
针对预训练视觉语言模型在 VQA 中的分布偏移问题，文章通过全面评估发现，生成模型在大多数情况下对数据分布变化不太敏感，且在测试基准中表现更好。同时，多模态预训练能提升大多数设置下的 OOD 性能，这为模型选择提供了参考。
知识驱动评估：应对物体虚构与事实准确性挑战
文章提到一种新的知识驱动图像问答评估方法，旨在解决大型视觉语言模型在现实场景中的物体虚构和事实准确性问题。通过构建专门数据集，该方法能有效评估现有模型的细粒度能力，为模型优化提供方向。
时间泛化与未来数据：提升 VQA 模型稳健性的新途径
文章探讨了利用稳定扩散生成新图像来增强数据集，以测试 VQA 模型对未来数据分布的稳健性。研究发现，通过分析模型架构，可以识别改进时间分布偏移下泛化能力的常见选择，这凸显了创建大规模未来偏移数据集的重要性。
Q&A
视觉语言模型在视觉问答中面临的主要问题是什么？
预训练的视觉语言模型在VQA任务中存在样本分布偏移导致的OOD性能问题，模型学习的是解决基准测试而非高层次技能。
生成式模型和分类模型在VQA任务中对数据分布变化的敏感度有何不同？
生成模型在大多数情况下对数据分布变化不太敏感，并在测试基准中表现更好。
有哪些新的VQA评估方法被提出？
提出了基于大语言模型上下文学习能力的VQA评估指标，与人类判断更好地相关；还提出了知识驱动图像问答（KNVQA）评估方法，解决物体虚构和事实准确性问题。
如何提升VQA模型在时间分布偏移下的泛化能力？
利用VQAv2和MS-COCO数据集的图像和标题，通过稳定扩散生成新图像来增强数据集，测试模型对未来数据分布的性能，并分析模型架构以识别改进泛化能力的风格选择。
VQA在时尚领域有哪些应用？
训练了一个视觉问答系统，使用多种模态的数据回答关于时尚照片中服装的自然语言问题，使用大规模领域特定的多模态数据集训练，模型最高准确性超过了人类专家水平。
VQA研究未来的开放性问题有哪些？
将VQA推广到多模态问答，探索与VQA相关的任务，并提出了一系列未来研究的开放性问题。
