CodeGraph：利用代码增强大型语言模型的图推理能力
内容提要
本文探讨了通过图形推理增强大型语言模型（LLMs）的能力，提出了Graph-ToolFormer框架，并在多个图形推理任务上进行实验。研究表明，LLMs在图数据分析中表现良好，但在结构推理和多答案任务中存在挑战。结合图学习模型的GraphLLM显著提高了推理准确率。此外，提出了NLGift基准测试，以评估LLMs在真实世界图任务中的推广能力，发现后训练对齐是提升推理能力的有效策略。
延伸解读
图推理增强的技术路径
文章梳理了多种增强LLM图推理能力的技术路径，包括基于指令的提示方法（如Build-a-Graph Prompting和Algorithmic Prompting）、基于图的验证方法、以及将图学习模型与LLM融合的GraphLLM。这些方法从不同角度尝试提升LLM对图数据的理解与推理，其中GraphLLM在多个基础任务上实现了平均准确率54.44%的提升，并显著减少了上下文需求。
LLM图推理的现存挑战
评估显示，LLM在自然语言图数据理解和拓扑推理上表现良好，但在结构推理和多答案任务中面临挑战，零样本和少样本提示效果减弱。GPT模型常产生错误答案且表现出高自信度，可能影响纠错能力。此外，LLM是否真正学习可泛化的图推理技能，还是仅记忆合成数据中的模式，仍是一个未解决的问题。
泛化能力与后训练对齐
NLGift基准测试专门评估LLM图推理的泛化性，即能否超越合成训练数据中的语义、数值、结构等模式，应用于真实世界图任务。实验表明，LLM对简单模式（语义、数值）的泛化相对满意，但在推理和真实世界模式下泛化困难。在探索的改进策略中，后训练对齐对真实世界任务最有希望，但超越模式记忆仍是未解难题。
Q&A
Graph-ToolFormer框架的主要功能是什么？
Graph-ToolFormer框架旨在增强大型语言模型在图形学习任务中的能力。
大型语言模型在图数据分析中存在哪些挑战？
大型语言模型在结构推理和多答案任务中面临挑战，尤其在零-shot和少-shot推理中效果减弱。
GraphLLM如何提高推理准确率？
GraphLLM结合图学习模型，经过实证评估，平均准确率提高了54.44%。
NLGift基准测试的目的是什么？
NLGift基准测试旨在评估大型语言模型在真实世界图任务中的推广能力。
后训练对齐对LLMs推理能力的影响是什么？
后训练对齐被发现是提升LLMs推理能力的有效策略。
大型语言模型在图推理任务中的表现如何？
大型语言模型在图推理任务中表现良好，但在复杂推理和多答案任务上存在不足。
