面包或吉娃娃？用多面板视觉语言模型挑战性大的 VQA 任务
内容提要
该文综述多语言视觉问答（VQA）研究进展，涵盖越南语基准EVJVQA、时尚VQA、WebQA、跨13种语言的mVQA与MaXM数据集、知识驱动KNVQA评估、OCR与多模态大模型结合及MultiModalQA多跳推理，并梳理VQA数据集分类、方法趋势与开放挑战。
延伸解读
多语言VQA的进展与挑战
文章介绍了多语言视觉问答（mVQA）的研究，包括越南语基准EVJVQA和跨13种语言的mVQA数据集MaXM。这些工作将VQA从英语扩展到其他语言，但多语言数据集的构建和模型性能仍面临挑战，如语言覆盖和跨语言迁移能力。
知识驱动与OCR增强的VQA
针对大型视觉-语言模型在现实场景中的物体虚构和事实准确性问题，文章提到了知识驱动图像问答（KNVQA）评估方法。同时，结合OCR模块与多模态大模型（MLLM）的研究表明，多数MLLM能理解OCR信息，这为提升VQA在文本识别任务中的表现提供了思路。
多模态多跳推理的需求
文章介绍了MultiModalQA数据集，它要求对文本、表格和图像进行联合推理。作者创建了新框架生成复杂多模态问题，并证明多模态多跳方法对于解决此类任务必不可少。这反映了VQA正从简单感知向复杂推理演进。
Q&A
EVJVQA是什么？它主要用于什么？
EVJVQA是一个基于越南图片的多语言视觉问答基准数据集，用于评估多语言VQA系统或模型。它是在VLSP 2022研讨会上提出的，其中前两个团队使用ViT预训练模型和mT5预训练语言模型实现多语言QA系统。
多语言视觉问答（mVQA）目前支持哪些语言？
根据文章，mVQA的数据生成和建模方案在13种语言中展现出强大性能，并且创建了MaXM数据集，该数据集覆盖7种不同语言，使得mVQA不仅限于英语，而是扩展到其他语言中。
KNVQA评估方法主要解决什么问题？
KNVQA是一种知识驱动的图像问答评估方法，主要解决大型视觉-语言模型在现实场景中存在的物体虚构和事实准确性两个关键问题。它开发了相应的KNVQA数据集进行评估，以有效评估现有方法的细粒度能力并为大型视觉-语言模型的进一步优化提供潜在思路。
MultiModalQA数据集有什么特点？
MultiModalQA (MMQA) 是一个需要对文本、表格和图像进行联合推理来回答问题的数据集。作者创建了一个新框架来生成复杂的多模态问题，并演示了多模态多跳方法在解决这一任务中的必要性。
在基于文本识别的图像视觉问答中，整合OCR模块和MLLM有什么发现？
研究发现多数MLLM可以理解OCR信息，这为训练保留LLM能力提供了启示。该研究还探讨了基于LLM方法在解决此问题时的优势和瓶颈。
视觉问答（VQA）领域目前面临哪些开放挑战？
根据文章，VQA领域的开放挑战包括：缺乏新颖对象的语言基础视觉表达和推理能力（如WebQA所指出的），大型视觉-语言模型存在的物体虚构和事实准确性问题（如KNVQA所针对的），以及需要统一的多模态推理模型来回答问题而不考虑源模态。此外，VQA数据集和方法的分类、最新趋势、挑战和改进方向也是综述中讨论的内容。
