揭示真相：LLM 真的懂图表吗？对一致性和健壮性的深入研究
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
本文介绍了一项名为文档层次的图表问答（DCQA）的新任务，旨在通过文档布局分析提取图表并进行问答。研究开发了强大的问题-答案生成引擎，提升了图表视觉问答的能力，并提出了新型的图表问答模型，经过广泛实验验证，模型在多个数据集上表现优异，为图表理解和多模态模型的发展提供了新思路。
❓
Q&A
文档层次的图表问答（DCQA）是什么？
文档层次的图表问答（DCQA）是一项通过文档布局分析提取图表并进行问答的新任务。
新型图表问答模型的主要特点是什么？
新型图表问答模型使用共现注意力变换器，能够处理文本语言和视觉元素的复杂互动。
研究中使用了哪些数据集来验证模型性能？
研究中使用了PlotQA和FigureQA数据集来验证模型的性能。
如何评估多模态模型的能力？
通过构建多模态评估集ChartX，评估主流多模态大模型和新模型ChartVLM的能力。
研究提出了什么样的技术来改善图表表示？
研究提出了一种从LLMs转移能力的技术，通过改善图表表示和合成推理痕迹来提升性能。
新型图表问答模型在实际应用中表现如何？
新型图表问答模型在真实场景下的PlotQA数据集上表现出卓越的性能。
🏷️
