多模态大语言模型（MLLMs）在图表理解方面存在不足。CharXiv是一个评估套件，包含2,323个自然、具有挑战性和多样化的图表。结果显示，最强专有模型（GPT-4o）的推理能力（47.1%准确率）与最强开源模型（InternVL Chat V1.5）（29.2%准确率）之间存在差距。所有模型远远落后于人类表现。CharXiv有望促进未来的MLLM图表理解研究。