有选择性地回答视觉问题
内容提要
本文提出了一种改进的视觉问答（VQA）评估指标，以更好地与人类判断相关联。研究通过多模态数据训练VQA系统，达到了超越人类专家的准确性。同时，探讨了大型语言模型在视觉问答中的应用，并提出了新的知识驱动评估方法，以解决物体虚构和事实准确性问题。研究强调了创建未来偏移数据集的重要性，以增强VQA模型的稳健性。
延伸解读
评估指标与人类判断对齐
文章提出借助大型语言模型的上下文学习能力，构建了一个新的VQA评估指标，该指标在多个模型和基准测试中与人类判断的相关性更好。这有助于更准确地衡量VQA研究的实际进展，避免因指标偏差而高估或低估模型能力。
分布偏移与模型稳健性
研究发现，在大规模多模态数据上预训练的V&L模型存在样本分布偏移问题，导致模型可能只是学会了解决基准测试而非掌握高层次技能。生成模型对数据分布变化相对不敏感，且多模态预训练能提升大多数设置下的OOD性能。这提示未来需关注模型在真实场景中的泛化能力。
知识驱动评估解决虚构问题
针对大型视觉-语言模型在现实场景中的物体虚构和事实准确性问题，文章提出了知识驱动图像问答（KNVQA）评估方法，并构建了相应数据集。该方法能有效评估现有模型的细粒度能力，为优化模型提供思路，减少生成不实内容的风险。
未来偏移数据集的重要性
文章强调创建大规模未来偏移数据集的重要性，以增强VQA模型的稳健性。通过利用VQAv2和MS-COCO数据生成新图像，测试多个模型的组合，研究发现模型架构中的某些选择能改善时间分布偏移下的泛化能力。这为未来VQA模型适应数据分布变化提供了方向。
Q&A
什么是改进的视觉问答（VQA）评估指标？
改进的VQA评估指标旨在与人类判断更好地相关，以更准确地估计VQA任务的研究进展。
如何训练视觉问答系统以超过人类专家的准确性？
通过使用大规模领域特定的多模态数据集，训练视觉问答系统以回答自然语言问题，从而实现超过人类专家的准确性。
大型语言模型在视觉问答中有哪些应用？
大型语言模型被用于开发统一的问答格式，扩展多模态语言模型在特定领域任务中的应用。
KNVQA评估方法解决了哪些问题？
KNVQA评估方法解决了物体虚构和事实准确性问题，旨在提高大型视觉-语言模型的评估能力。
什么是LOVA3框架，它的作用是什么？
LOVA3框架旨在扩展多模态大型语言模型的能力，包括回答、提问和评估问题，提升多模态理解能力。
为什么创建未来偏移数据集对VQA模型重要？
创建未来偏移数据集可以增强VQA模型的稳健性，使其更好地适应时间分布的变化。
