多模态理性混合：视觉问题回答的多模式推理混合
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
本文介绍了一种新方法II-MMR，用于视觉和语言中的多模多跳推理。该方法通过两种语言提示改进视觉问答（VQA）问题的推理路径，发现大多数问题只需“单跳”推理。II-MMR在零-shot和微调设置中表现出色，提升了模型的推理能力，并在多个基准测试中取得了优异成绩。
🔎
延伸解读
单跳推理为主：VQA任务的实际需求
II-MMR在GQA和A-OKVQA等基准上发现，大多数视觉问答问题只需单跳推理即可解答，仅少数问题需要多跳推理。这一观察提示，当前VQA模型可能过度设计了复杂推理机制，而实际应用中应优先优化单跳推理的准确性和效率，避免不必要的计算开销。
两种语言提示的改进思路
II-MMR通过答案预测引导的Chain-of-Thought提示和知识三元组引导的提示来改进推理路径。前者利用答案预测引导模型生成中间推理步骤，后者引入外部知识三元组辅助推理。这两种提示策略为提升VQA模型的推理能力提供了可借鉴的方向，尤其在零样本和微调设置下均表现出有效性。
零样本与微调下的性能表现
II-MMR在零样本和微调设置中均展示了有效性，并在多个基准测试中取得优异成绩。这表明该方法不仅适用于有标注数据的场景，也能在缺乏训练数据时提升模型推理能力。对于实际部署，这意味着可以降低对大规模标注数据的依赖，加速模型在特定领域的应用。
❓
Q&A
II-MMR方法的主要功能是什么？
II-MMR是一种用于视觉和语言中的多模多跳推理的新方法，旨在改进视觉问答（VQA）问题的推理路径。
II-MMR如何改进视觉问答的推理能力？
II-MMR通过使用答案预测引导的链式思维提示和知识三元组引导的提示来改进推理能力。
大多数视觉问答问题需要多少跳推理？
大多数视觉问答问题只需单跳推理，只有少数问题需要多跳推理。
II-MMR在基准测试中的表现如何？
II-MMR在多个基准测试中表现出色，提升了模型的推理能力。
II-MMR在零-shot和微调设置中的表现如何？
II-MMR在零-shot和微调设置中均展示了其有效性。
II-MMR使用了哪些新的语言提示？
II-MMR使用了答案预测引导的链式思维提示和知识三元组引导的提示。
🏷️
