GraCoRe：大型语言模型中的图推理与复杂推理基准测试
内容提要
本文评估了大型语言模型（LLMs）在图数据分析中的能力，发现它们能够理解图数据并进行推理，但在复杂问题上表现有限。GPT模型在正确性和自信度上优于其他模型，但在多答案任务中常出现错误。研究提出了GraphEval2000数据集和评估框架，以提升LLMs的图推理能力，并探讨了改进策略。
延伸解读
LLM图推理的现状与局限
评估显示，大型语言模型能理解自然语言描述的图数据并进行拓扑推理，但在结构推理上普遍面临挑战，零样本和少样本提示效果减弱。GPT模型在正确性上优于其他模型，但在多答案任务中常产生错误答案，且输出自信度较高，可能影响纠错能力。值得注意的是，GPT-4能纠正GPT-3.5-turbo等版本的错误回答。
GraphEval2000基准与SSD方法
为系统评估LLM的图推理能力，研究者提出了GraphEval2000数据集，包含40个图数据结构问题和2000个测试用例，覆盖四个主要和四个次要类别。基于该数据集的评估框架对八个流行LLM进行了测试，发现LLM对有向图的理解优于无向图，且开源与私有模型性能差距正在缩小。提出的Structured Symbolic Decomposition（SSD）方法在复杂图问题上提升了GPT-3.5、GPT-4和GPT-4o的性能，分别增加11.11%、33.37%和33.37%。
可推广性挑战与改进方向
NLGift基准测试探究了LLM图推理的可推广性，即能否超越合成训练数据中的语义、数值、结构等模式，应用于真实世界图任务。实验表明，LLM对简单模式（如语义、数值）的推广相对令人满意，但在推理和真实世界模式下难以推广，对合成图调整的益处存疑。研究探索了三种改进策略，发现后训练对齐最有希望，但让LLM图推理超越模式记忆仍是未解决的研究问题。
Q&A
大型语言模型在图数据分析中的表现如何？
大型语言模型能够有效理解自然语言的图数据并进行图拓扑推理，但在复杂问题上表现有限。
GPT模型在多答案任务中存在什么问题？
GPT模型在多答案任务中常常产生错误答案，这引发了对其可靠性的担忧。
GraphEval2000数据集的目的是什么？
GraphEval2000是一个用于评估大型语言模型图推理能力的综合性数据集，包含40个图形数据结构问题和2000个测试用例。
如何提高大型语言模型的图推理能力？
研究提出的Structured Symbolic Decomposition（SSD）方法可以提高GPT-3.5、GPT-4和GPT-4o在复杂图形问题上的性能。
大型语言模型在结构推理方面面临哪些挑战？
所有大型语言模型在结构推理方面面临挑战，尤其是零-shot和少-shot提示的效果减弱。
后训练对齐在图推理中的作用是什么？
后训练对齐被认为是提高大型语言模型图推理可推广性的最有希望的策略，但超越模式记忆仍是未解决的问题。
