CharXiv：多模式 LLM 模型中现实图表理解的不足之处的概览
原文中文，约500字，阅读约需2分钟。发表于：。多模态大语言模型（MLLMs）在实际任务（如分析科学论文或财务报告）中应用图标理解起着重要作用。然而，现有数据集通常只关注模板化问题的简化和同质化图表，导致对进展的过于乐观的衡量。我们在这项工作中提出了 CharXiv，这是一个综合评估套件，包括来自 arXiv 论文的 2,323 个自然、具有挑战性和多样化的图表。CharXiv...
多模态大语言模型（MLLMs）在图表理解方面存在不足。CharXiv是一个评估套件，包含2,323个自然、具有挑战性和多样化的图表。结果显示，最强专有模型（GPT-4o）的推理能力（47.1%准确率）与最强开源模型（InternVL Chat V1.5）（29.2%准确率）之间存在差距。所有模型远远落后于人类表现。CharXiv有望促进未来的MLLM图表理解研究。
