CharXiv：多模式 LLM 模型中现实图表理解的不足之处的概览
内容提要
本文介绍了多模态评估集ChartX及其新模型ChartVLM，评估了多种图表类型和任务，显示ChartVLM在图表理解上优于其他模型。此外，研究提出了ChartMimic基准，评估大型多模态模型的视觉代码生成能力，强调了视觉理解和跨模态推理中的挑战。实验揭示了现有模型在图表理解中的局限性，并为未来研究提供了方向。
延伸解读
多模态图表理解评估的演进
文章梳理了从2022年到2024年多个图表理解基准的提出，包括ChartBench、ChartMimic、MMC-Benchmark等，反映了该领域评估重点从基础理解向代码生成、跨模态推理等复杂能力扩展。这些基准的涌现表明，对多模态大模型图表能力的评估正趋于全面和深入，但同时也暴露出模型在真实场景中的不足。
ChartMimic基准的挑战与意义
ChartMimic要求模型根据图表和说明生成渲染代码，强调视觉理解、代码生成和跨模态推理的融合。评估显示，即使先进的GPT-4V和Claude-3-opus平均得分也仅为73.2和53.7，表明当前模型在复杂图表任务上仍有很大提升空间。该基准为未来模型发展提供了明确的挑战方向。
现有模型的局限性
多项评估一致指出，现有模型在图表理解上存在明显局限，尤其是GPT-4V和Claude-3-opus等先进模型。这些局限涉及低级数据分析、科学图表语义理解等方面，提示模型在真实场景中的可靠性不足。研究提出的Chain-of-Charts提示策略和MMCA模型等尝试部分缓解问题，但根本性突破仍需进一步探索。
Q&A
ChartX评估集包含哪些内容？
ChartX评估集包含18种图表类型、7种图表任务和22个学科领域的高质量图表数据。
ChartVLM模型的优势是什么？
ChartVLM在图表理解能力上超越了其他主流多模态模型，达到了与GPT-4V可比较的结果。
ChartMimic基准的目的是什么？
ChartMimic基准旨在评估大型多模态模型的视觉代码生成能力，强调视觉理解和跨模态推理的挑战。
现有模型在图表理解中存在哪些局限性？
现有模型在图表理解中存在显著局限性，尤其是GPT-4V和Claude-3-opus的表现仍有改进空间。
如何提高模型在数据分析任务中的性能？
可以通过使用名为“Chain-of-Charts”的文本提示策略来提高模型在低级数据分析任务中的性能。
多模态图表助手（MMCA）有什么特点？
多模态图表助手（MMCA）在图表问答基准上实现了最先进的性能，融合了视觉和语言处理。
