视觉草稿本：多模态语言模型的可视化思维链
内容提要
本文探讨了多模态模型在视觉推理中的应用，提出了VCoT方法和Thought可视化技术，显著提升了模型在几何和国际象棋等任务上的表现。研究表明，结合视觉与文本信息能有效改善推理能力，并设计了VisionGraph基准测试以评估模型在图论问题上的表现。实验结果显示，GPT-4V在多步推理中优于其他模型，且DPR链提高了逻辑准确性。
延伸解读
视觉思维链的演进脉络
文章梳理了从2023年5月到2024年5月视觉思维链的发展：VCoT通过多模态填充降低逻辑间隙，连锁图像将语言推理转化为模式识别，Thought可视化引导空间推理，VisionGraph基准评估图论问题，DPR链提升逻辑准确性。这些工作显示，视觉信息正从辅助角色转变为推理过程的核心组成部分，逐步覆盖几何、国际象棋、图论等多类任务。
多模态推理的瓶颈：抽象模式感知
尽管VLMs在文本推理上表现优异，但RPM测试表明其在视觉演绎推理上仍有明显短板。主要困难在于无法感知和理解多个混淆的抽象模式。VisionGraph实验也发现，所有LMM在图形结构感知准确性上表现较差，这直接影响了问题解决性能。因此，提升视觉感知的精确性，而非仅扩大模型规模，可能是突破多模态推理瓶颈的关键。
DPR链与GPT-4V的协同优势
在VisionGraph基准上，GPT-4V在多步图推理中优于Gemini Pro。引入描述-编程-推理（DPR）链后，逻辑准确性显著提高，GPT-4V（DPR）代理达到SOTA性能。DPR链通过生成图形结构描述和算法感知的多步推理，弥补了LMM在结构感知上的不足。这表明，将复杂问题分解为描述、编程、推理的显式步骤，能有效提升多模态模型在结构化任务中的表现。
可解释性与鲁棒性的新方向
文章提到，通过图像内容和文字指令进行显式推理，并引入可提问以获取必要知识的系统，能增强推理过程的鲁棒性和可解释性。在模糊视觉输入下，这种方法使LMM更准确、可解释。此外，提示素描范式让用户通过预测模板变量值来控制生成过程，优化整体可能性。这些探索表明，多模态推理正从端到端黑箱向可干预、可解释的流程演进。
Q&A
VCoT方法是如何改善多步推理能力的？
VCoT方法通过视觉增强和多模态填充降低序列数据中的逻辑间隙，从而改善模型的多步推理能力。
GPT-4V在多步推理方面的表现如何？
实验结果显示，GPT-4V在多步推理中优于其他基准模型，尤其是在图推理任务中表现出色。
Thought可视化方法的主要功能是什么？
Thought可视化方法通过可视化推理轨迹来增强语言模型的空间推理能力，帮助引导后续推理步骤。
VisionGraph基准测试的目的是什么？
VisionGraph基准测试旨在评估大型多模态模型在解决多模态图论问题方面的能力。
DPR链如何提高逻辑准确性？
DPR链通过在图形结构描述生成和算法感知的多步推理过程中，显著提高了逻辑准确性。
多模态模型在视觉演绎推理方面存在哪些局限性？
尽管多模态模型在文本推理方面表现出色，但在视觉演绎推理中仍有提升空间，主要困难在于理解复杂的抽象模式。
