PUB：用于评估大型语言模型在合成视觉数据解读上的绘图理解基准和数据集
内容提要
本文介绍了LLMMaps，这是一种评估大型语言模型（LLMs）性能的新可视化技术，支持分层评估以识别风险并指导发展。研究分析了LLMs在时间序列分析、图表理解和视觉编码等方面的能力与局限性，并提出了多种基准和方法以提升模型的理解能力和可视化素养。
延伸解读
评估基准的多样化与互补性
文章列举了多个评估基准，如ChartBench、SEED-Bench-2-Plus、Plot2Code和VisEval，它们分别针对图表理解、文本丰富视觉理解、视觉编码和自然语言到可视化生成等不同方面。这些基准从不同角度衡量模型能力，表明单一基准难以全面评估LLM在视觉数据解读上的表现，需要结合多个基准进行综合判断。
模型在视觉任务中的优势与局限
研究显示，MLLMs在可视化素养任务（如识别相关性、聚类和层次结构）上具有竞争力，甚至优于人类。然而，在文字密集的图表中，模型进行视觉编码时存在困难，且重度依赖文本指导。这表明模型在处理视觉信息时可能更擅长某些抽象任务，但在需要精确视觉解析的场景中仍有明显不足。
提升模型能力的可能路径
文章提到了多种提升LLM理解能力的方法，包括符号指令微调（SIT）和将LLM集成到可视分析系统中。SIT旨在增强模型对符号图形程序的语义理解，而集成到可视分析系统则能通过自然语言交互改变传统流程。这些方法为改进模型在视觉数据解读上的表现提供了方向，但同时也面临多模态交互等挑战。
Q&A
LLMMaps是什么，它的主要功能是什么？
LLMMaps是一种新的可视化技术，用于评估大型语言模型的性能，支持分层评估以识别风险并指导发展。
如何评估大型语言模型在时间序列分析中的能力？
评估方法包括直接提示、时间序列量化、对齐技术和利用视觉作为桥梁机制等。
SEED-Bench-2-Plus基准的目的是什么？
SEED-Bench-2-Plus旨在评估MLLMs在文本丰富视觉理解方面的能力，涵盖图表、地图和网络等类别。
多模式语言模型在视觉编码方面存在哪些困难？
现有的多模式语言模型在文字密集图中的视觉编码方面存在困难，重度依赖于文本指导。
符号指令微调（SIT）有什么作用？
符号指令微调（SIT）旨在提升大型语言模型的理解能力和指令跟从能力。
大型语言模型如何改变可视分析的传统流程？
大型语言模型能够通过直观的自然语言交互改变可视分析的传统流程，提供新的多模态交互机会。
