CHARTOM：多模态大语言模型的视觉理论认知基准
内容提要
本文介绍了ChartSumm数据集，包含84,363个图表及其元数据，旨在提升图表理解能力。研究表明，现有语言模型在图表解释上存在局限性。通过开发多模态模型和基准测试，推动了图表理解的研究，特别是ChartMimic和CharXiv的提出，强调了对复杂图表的真实评估需求。
延伸解读
图表理解评测的演进与挑战
从ChartSumm到CharXiv，图表理解评测逐步从简化模板转向真实复杂场景。ChartSumm包含84,363个图表，但实验显示模型仍存在信息遗漏、幻觉和复杂趋势解释不当等问题。后续的ChartMimic和CharXiv强调了对真实科学图表进行评估的必要性，CharXiv的2,323个arXiv图表揭示了模型与人类表现的巨大差距，表明现有模型在复杂推理上仍有不足。
多模态模型在图表任务上的表现局限
尽管多模态模型如GPT-4V在部分任务上表现突出，但在图表理解上仍面临挑战。ChartMimic评估显示，GPT-4V和Claude-3-opus在视觉基础代码生成任务上平均得分仅为73.2和53.7，表明跨模态推理能力有限。CharXiv中，GPT-4o的推理准确率仅47.1%，远低于人类80.5%的水平，凸显了模型在综合视觉元素信息方面的不足。
高质量数据与指令调整的关键作用
研究显示，通过创建高质量的指令调整数据集，可以有效提升模型的图表理解能力。例如，ChartLlama利用数据生成方法在ChartQA等评估中超越以往方法；ChartGemma通过从图表图像直接生成指令调优数据，在摘要、问答和事实核查上取得最新结果。这表明数据质量与针对性训练对提升多模态模型性能至关重要。
Q&A
ChartSumm 数据集的主要内容是什么？
ChartSumm 数据集包含 84,363 个图表及其元数据，旨在提升图表理解能力。
现有语言模型在图表理解上存在哪些局限性？
现有语言模型在复杂趋势的解释上存在局限性，无法准确理解图表中的信息。
ChartMimic 和 CharXiv 的作用是什么？
ChartMimic 评估多模态模型的视觉基础代码生成能力，CharXiv 提供综合评估套件，显示现有模型在图表理解上的不足。
如何提高图表理解能力？
通过创建高质量的指令调整数据集并训练多模态大型语言模型，可以有效提高图表理解能力。
ChartX 评估集的特点是什么？
ChartX 评估集包含18种图表类型、7种图表任务和22个学科领域，提供高质量的图表数据。
ChartMimic 如何评估大型多模态模型的能力？
ChartMimic 利用图表和文本说明生成代码，评估模型在视觉理解、代码生成和跨模态推理等方面的能力。
