PAGED：一种用于从文档中提取程序图的基准
内容提要
本研究探讨了大型语言模型在从非结构化PDF文本中提取程序的能力，提出了GraphEval2000数据集和评估框架，评估其在图形推理中的表现。结果显示，LLM在理解有向图方面优于无向图，并提出了Structured Symbolic Decomposition方法以提升性能。尽管LLM在知识图谱生成上存在局限，但其在图数据分析中表现出色，未来需加强其图形处理能力。
延伸解读
GraphEval2000：评估LLM图形推理的新基准
GraphEval2000是首个包含40个图形数据结构问题和2000个测试用例的综合性数据集，旨在通过编码挑战评估LLM的图形推理能力。测试用例分为四个主要类别和四个次要类别，确保全面评估。该基准的推出填补了LLM在图形结构数据推理能力评估方面的空白，为后续研究提供了标准化工具。
LLM在图理解上的表现：有向图优于无向图
研究发现，LLM在理解有向图方面比无向图表现更好。在评估的八个流行LLM中，私有模型一直超越开源模型，但性能差距正在缩小。这表明LLM在处理具有明确方向性的图结构时更具优势，可能因为方向性提供了额外的语义信息，有助于模型推理。
Structured Symbolic Decomposition：提升LLM图
为了提高LLM在GraphEval2000上的性能，研究者提出了基于指令的Structured Symbolic Decomposition（SSD）方法。结果显示，SSD在复杂图形问题上显著提升了GPT-3.5、GPT-4和GPT-4o的性能，分别增加了11.11%、33.37%和33.37%。这表明通过结构化分解复杂问题，可以有效增强LLM的图形推理能力。
LLM在知识图谱生成上的局限与图数据分析的优势
尽管LLM在知识图谱生成方面存在局限，例如在零样本生成知识图谱时尚不适用，但在图数据分析中表现出色。LLM能够有效理解自然语言的图数据并进行图拓扑推理，GPT模型能生成逻辑连贯的结果。然而，所有模型在结构推理方面仍面临挑战，且在多答案任务中常产生错误答案，引发对可靠性的担忧。
Q&A
GraphEval2000数据集的主要内容是什么？
GraphEval2000数据集包含40个图形数据结构问题和2000个测试用例，用于评估大型语言模型的图形推理能力。
大型语言模型在理解有向图和无向图方面的表现如何？
研究发现，大型语言模型在理解有向图方面的表现优于无向图。
Structured Symbolic Decomposition方法的目的是什么？
Structured Symbolic Decomposition方法旨在提高大型语言模型在GraphEval2000上的性能。
大型语言模型在知识图谱生成方面存在哪些局限？
尽管大型语言模型在知识图谱生成上有一定的实用性，但在零样本生成知识图谱方面尚不适用。
研究中提到的LLM-KG-Bench框架有什么功能？
LLM-KG-Bench框架提供了LLM响应的自动评估和存储机制，以及统计数据和可视化工具，以支持数据和模型性能的追踪。
未来研究方向有哪些？
研究总结了大型语言模型在图数据分析中的优缺点，并提出了潜在的未来研究方向。
