本文介绍了多模态问答挑战ManyModalQA，要求代理同时考虑文本、图像和表格三种模态。通过维基百科数据和众包问题-答案对，构建了模态选择器网络，分析问题中的指示模态词。尽管基线模型的表现与人类存在差距，但期望能推动多模态QA模型的研究与迁移学习。

本文调查了视觉问题回答领域，分类了数据集和方法，展示了最新趋势、挑战和改进方向，探索了多模态问答和相关任务，并提出了未来研究的开放性问题。

该文介绍了一种多模态问答框架，将多模态信息提取任务统一为一个流水线，提高了各种类型的现成大型多模态模型在 MIE 任务上的性能。该框架能够使 LMM 在更大的语言模型竞争中获得更好的表现，成为解决 MIE 和其他下游多模态任务的一般原则。