大规模异构图中基于大型语言模型的可扩展链接预测
内容提要
该文综述大语言模型在图学习中的应用，涵盖链路预测、节点分类等任务，将模型分为增强器、预测器和组件三类，介绍GraphLP、PLNLP、SiaILP等模型及NLGraph基准，指出小模型注入知识后性能可媲美大模型，并展望未来方向。
延伸解读
LLM在图学习中的三种角色
文章提出了一种分类法，根据LLM在图相关任务中扮演的角色，将现有方法分为增强器、预测器和对齐组件三类。增强器利用LLM增强图模型的特征或结构；预测器直接使用LLM进行图预测；对齐组件则负责对齐图与文本表示。这种分类有助于理解LLM如何融入图学习流程，并为后续研究提供了清晰的框架。
小模型注入知识可媲美大模型
文章提到，在知识图谱和深度学习的融合下，小语言模型在注入知识后，其链接预测和问答任务表现与大型语言模型相似。这一发现经过Cochran意义检验和Cohen's kappa指数验证，表明知识注入能有效提升小模型性能，降低对大规模模型的依赖，为实际应用提供了更经济的方案。
链接预测的多样化方法
文章介绍了多种链接预测方法，包括基于网络重构的生成式模型GraphLP、成对学习框架PLNLP、基于自然语言推理的方法以及孪生神经网络模型SiaILP。这些方法在不同数据集上表现出色，例如SiaILP在归纳版本的WN18RR、FB15k-237和Nell995上取得了最优性能，展示了链接预测技术的多样性和进展。
基准与评估的进展
文章提及了NLGraph基准，用于评估LLM解决自然语言图问题的能力，并提出了Build-a-Graph Prompting和Algorithmic Prompting两种指令方法，将LLM性能提升了3.07%到16.85%。这些基准和方法的出现，为系统评估LLM在图任务中的表现提供了标准，推动了该领域的可重复研究。
Q&A
大规模异构图中基于大语言模型的链接预测有哪些主要方法分类？
根据文章，现有方法根据大语言模型在图相关任务中扮演的角色分为三类：增强器、预测器和对齐组件。文章对这三类中的代表性方法进行了系统调查。
GraphLP模型是什么？它有什么特点？
GraphLP是一种基于网络重构理论的生成式神经网络模型，区别于传统的判别式神经网络模型。它利用深度学习提取图表结构信息并探索高阶连接模式以实现链路预测，实验证明在不同数据集上都具有优异性能。
PLNLP框架包含哪些组件？
PLNLP是一个针对神经链接预测进行成对学习的框架，包含四个主要组件：邻域编码器、链接预测器、负采样器和目标函数。该框架具有灵活性，可选用任何通用的图神经卷积或链接预测特定的神经结构进行编码。
NLGraph基准是什么？它提出了哪些提示方法？
NLGraph是一个用于大语言模型解决自然语言图问题的基准。它提出了两种基于指令的方法：Build-a-Graph Prompting和Algorithmic Prompting，这些方法在多个任务和设置中将大语言模型的性能提升了3.07%到16.85%。
小语言模型在知识注入后的性能如何？
文章指出，小语言模型在注入知识后，其性能与大型语言模型相似。这一结论经过了Cochran意义检验和Cohen's kappa指数的验证。
SiaILP模型有什么特点？它在哪些数据集上取得了最优性能？
SiaILP是一个使用孪生神经网络的基于路径的归纳链接预测模型，仅依赖关系和路径嵌入，可泛化到新实体而无需微调。实验证明该模型在归纳版本的WN18RR、FB15k-237和Nell995的链接预测任务中取得了多个最新的最优性能。
