ACL 2024 Oral｜我们离真正的多模态思维链推理还有多远？
内容提要
该文章介绍了多模态思维链推理领域的研究进展和挑战，提出了一个新的基准，推动多领域、多步和多模态思维链的研究与发展。实验结果显示当前的多模态大模型在多步多模态推理方面仍存在不足，需要进一步改进。研究者还探索了工具使用、上下文学习和指令微调等方法对模型性能的影响，并提出了未来研究的方向。希望该基准能为多领域、多步和多模态思维链的研究提供基础。
延伸解读
现有基准的三大缺陷
文章指出，当前多模态思维链基准存在视觉模态推理缺失、仅有单步视觉模态推理以及领域覆盖不足三大问题。视觉模态推理缺失导致模型可能仅凭文本线索就能作答，无法真实评估多模态能力；单步推理则简化了实际任务中动态多次结合多模态信息的需求；领域覆盖不足体现在缺乏常识和数学等关键领域的评估。这些缺陷共同造成了对模型实际能力的高估。
新基准M3CoT的构建方法
为应对上述问题，研究者构建了新基准M3CoT，其数据构建经过四个关键阶段：首先利用自动和手动方式移除无需图像即可得出答案的样本，以解决视觉模态推理缺失；其次自动去除推理路径过短的样本，并手动优化确保每个样本需要跨模态多步推理；然后通过引入数学和常识领域数据，将LaTeX代码转为图片，并利用大模型生成更多问题、推理路径和答案，增强多样性和挑战性；最后实施多轮人工审核和自动检测，保证数据质量。
模型表现与人类差距
实验评估了Kosmos-2、InstructBLIP、LLaVA-V1.5、CogVLM、Gemini和GPT4V等模型。结果显示，开源模型在多步多模态推理方面与GPT4V存在显著差距，而GPT4V虽优于其他模型，但与人类表现相比仍有明显不足。此外，视觉大模型在参数超过100亿时表现出思维链涌现现象。这些发现表明，当前模型在复杂多模态推理任务上仍需大幅改进。
提升性能的探索与建议
研究者探索了工具使用、上下文学习和指令微调等方法。工具使用如HuggingGPT、VisualChatGPT等在多模态推理上表现不佳，需改进框架以更好整合多模态信息。上下文学习中，纯文本示例影响甚微，多模态示例仅对较大模型有提升，甚至可能损害性能，未来需更高质量的图文交错示例。指令微调则能显著增强传统视觉语言模型性能，使LLaVA-V1.5-13B准确率提高近20%，接近GPT4V，建议未来关注此技术。
Q&A
多模态思维链推理的研究进展有哪些？
多模态思维链推理的研究进展包括提出新的基准，推动多领域、多步和多模态思维链的研究与发展，以及对现有模型性能的评估和改进。
当前多模态大模型在推理方面存在哪些不足？
当前多模态大模型在多步多模态推理方面存在显著不足，尤其是在视觉模态推理缺失、单步推理和领域覆盖不足等方面。
新基准的提出有什么意义？
新基准旨在解决现有多模态思维链基准的缺陷，推动多领域、多步和多模态思维链的进步，为相关研究提供基础。
工具使用对多模态模型性能的影响如何？
工具使用被认为是提高模型性能的有效策略，但当前的工具使用框架仍需改进，以更好地整合和利用多模态信息。
上下文学习对多模态推理模型的影响是什么？
上下文学习对模型性能的影响有限，尤其是纯文本示例对性能几乎没有提升，未来需使用更高质量的多模态示例进行训练。
指令微调在多模态推理中的作用是什么？
指令微调能够显著增强传统视觉语言模型的性能，研究者建议未来研究应更多关注此技术以提升模型表现。
