GraphInsight：在大型语言模型中解锁图结构理解的洞见
内容提要
本文研究了大型语言模型（LLMs）在图形数据理解和推理任务中的局限性。通过实验评估，提出了GraphLLM和GraphInstruct等方法，以提升LLMs在图形推理中的表现。研究表明，文本序列对推理性能有显著影响，并提出了评估LLMs图形理解能力的基准测试，为LLMs在图形分析中的应用提供了新的方向和实证依据。
延伸解读
图推理性能提升的关键因素
文章指出，通过改变图描述性文本序列，大型语言模型的图推理性能可从42.22%提升至70%，表明文本序列对空间理解有显著影响。此外，GraphLLM方法平均准确率提高54.44%，并减少96.45%的上下文，说明融合图学习模型与LLMs能有效提升推理效率。这些发现提示，优化输入表示和模型融合是改进图推理的重要方向。
图回忆任务中的领域依赖与偏见
研究发现，LLMs在图回忆任务中表现普遍不佳，且倾向于偏爱三角形和交替2路径等局部结构。对真实世界图的回忆准确性取决于图所属领域，当图的语言风格与原始领域一致时，回忆效果最佳。这表明LLMs的图回忆能力受领域和结构偏见影响，在实际应用中需注意这些局限性。
泛化能力不足与后训练对齐
NLGift基准测试显示，LLMs在简单模式（如语义、数值）上泛化较好，但在推理和真实世界模式下难以泛化，对合成图调整的益处存疑。探索的三种改进策略中，后训练对齐对真实世界任务最有希望，但让LLM图推理超越模式记忆仍是未解决问题。这提醒我们，当前LLMs的图推理泛化能力有限，需进一步研究。
评估基准与表示格式的影响
文章介绍了多个基准测试，如Scaled Graph Reasoning、GraphInstruct、GraCoRe和NLGift，用于系统评估LLMs在不同图形大小、任务和泛化能力上的表现。其中，新数据集包含79个图任务，发现JSON格式在图表示上对语言模型的理解效果最佳。这些基准和发现为评估和改进LLMs的图理解能力提供了重要工具和实证依据。
Q&A
大型语言模型在图形数据理解方面存在哪些局限性？
大型语言模型在理解图结构和执行相关推理任务上存在局限性，尤其在图回忆任务中表现不佳。
GraphLLM方法如何提高图数据推理的表现？
GraphLLM方法通过对图结构数据进行编码，提升了大型语言模型在图数据推理中的表现，平均准确率提高54.44%。
文本序列对大型语言模型的图形推理性能有何影响？
文本序列显著影响大型语言模型的图形推理性能，改变图描述性文本序列可将性能从42.22%提高到70%。
什么是Scaled Graph Reasoning基准测试？
Scaled Graph Reasoning基准测试用于评估大型语言模型在不同图形大小上的推理性能。
GraphInstruct基准测试的目的是什么？
GraphInstruct基准测试旨在评估和增强大型语言模型在图形理解和推理方面的能力。
NLGift基准测试评估了什么？
NLGift基准测试评估了大型语言模型在图推理可推广性方面的能力，特别是在真实世界任务中的效用。
