基于图表的推理：从 LLMs 向 VLMs 的能力转移
内容提要
本文介绍了多模态评估集ChartX及新方法ChartVLM，评估了多种视觉语言模型的推理能力。研究表明，ChartVLM在图表相关任务上表现优于其他模型，但在视觉推理方面仍有提升空间。通过创建合成几何问题数据集，评估了视觉语言模型的推理能力，结果显示其表现不如预期，为未来多模态模型的开发和评估提供了基础。
延伸解读
图表评估集ChartX的构建意义
ChartX覆盖18种图表类型、7种任务和22个学科领域，为多模态模型提供了更全面的评估基准。其高质量数据有助于系统检验模型在真实图表理解上的表现，避免因任务单一而高估能力。该评估集的发布可推动更可解释的多模态模型研究。
ChartVLM的表现与定位
在ChartX上，ChartVLM在图表相关任务中超越了通用及专用大模型，达到与GPT-4V可比较的结果。这表明针对图表任务进行专门设计能有效提升性能，但并未全面超越GPT-4V，说明通用模型仍具竞争力，专用模型需持续优化。
视觉推理的局限性
采用RPM测试发现，VLMs在文本推理上出色，但视觉演绎推理明显不足，主要困难在于无法感知和理解多个混淆的抽象模式。合成几何问题数据集也显示，模型在需要长推理链的深层问题上表现不如预期，表明现有基准可能高估了其推理能力。
提升视觉推理的探索方向
为弥补VLMs的推理短板，研究者提出TReE方法将LLMs的推理能力零样本迁移给VLM，以及Cola方法通过自然语言交流协调多个VLM。两阶段训练框架结合LLM反馈也显示出提升推理性能和一致性的潜力，这些方向为未来多模态模型开发提供了参考。
Q&A
ChartX评估集包含哪些内容？
ChartX评估集包括18种图表类型、7种图表任务和22个学科领域。
ChartVLM在图表相关任务上的表现如何？
ChartVLM在图表相关能力上超越了其他模型，接近GPT-4V的表现。
TReE方法的主要步骤是什么？
TReE方法包含观察、思考和重新思考三个阶段，用于将LLMs的推理能力转移给VLMs。
视觉语言模型在视觉推理方面存在哪些局限性？
视觉语言模型在处理复杂抽象模式时存在局限性，尤其是在视觉演绎推理方面。
Cola方法的目的是什么？
Cola方法旨在通过促进自然语言交流来协调多个视觉语言模型，提升视觉推理能力。
如何评估视觉语言模型的推理能力？
通过创建合成几何问题数据集并进行基准测试来评估视觉语言模型的推理能力。
