本文介绍了多模态问答挑战ManyModalQA，要求代理同时考虑文本、图像和表格三种模态。通过维基百科数据和众包问题-答案对，构建了模态选择器网络，分析问题中的指示模态词。尽管基线模型的表现与人类存在差距，但期望能推动多模态QA模型的研究与迁移学习。

为了解决长篇视频理解的局限性，研究引入了MoVQA数据集，以评估多模态系统的认知能力。分析表明，现有方法在处理视频时性能下降。MovieLLM利用GPT-4生成高质量视频数据，提升理解能力。MovieQA数据集包含关于408部电影的14,944个问题，用于评估自动理解故事的能力。此外，研究还提出了多个新数据集和方法，推动长视频理解的发展。

本文调查了视觉问题回答领域，分类了数据集和方法，展示了最新趋势、挑战和改进方向，探索了多模态问答和相关任务，并提出了未来研究的开放性问题。

该文介绍了一种多模态问答框架，将多模态信息提取任务统一为一个流水线，提高了各种类型的现成大型多模态模型在 MIE 任务上的性能。该框架能够使 LMM 在更大的语言模型竞争中获得更好的表现，成为解决 MIE 和其他下游多模态任务的一般原则。