UniGraph：从自然语言中学习跨领域图基础模型
内容提要
本文综述图神经网络与大语言模型的融合研究，涵盖UniGNN直接处理超图、InstructGLM以自然语言提示进行图学习推理、知识图谱与LLM的三种协同框架实现双向推理、ZeroG跨数据集零样本迁移、ULTRA跨知识图谱关系表示，以及GraphTranslator、GLM、LinguGKD等桥接图模型与LLM以提升泛化与推理效率。
延伸解读
图基础模型的演进脉络
文章梳理了从UniGNN到LinguGKD等一系列研究，时间跨度从2021年到2024年，展示了图神经网络与大语言模型融合的清晰演进路径。早期工作如UniGNN专注于扩展GNN处理超图的能力，而后续研究如InstructGLM、ZeroG等则逐步引入自然语言提示和零样本迁移，推动图学习向更通用、更可扩展的方向发展。这一脉络表明，图基础模型正从特定任务向跨领域、跨数据集泛化迈进。
零样本迁移的关键突破
ZeroG和ULTRA在零样本迁移方面取得了显著进展。ZeroG通过语言模型编码节点属性和类别语义，解决了跨数据集特征不对齐和标签空间不匹配的难题，甚至在Pubmed上达到与半监督学习相媲美的效果。ULTRA则在57个知识图谱上展示了零样本归纳推理性能，细调后还能进一步提升。这些成果表明，图模型正逐步具备类似大语言模型的泛化能力，为图基础模型的发展开辟了新路径。
知识图谱与LLM的协同框架
文章提出了知识图谱与大型语言模型融合的三种框架：增强的知识图谱、增强的大型语言模型和协同增强。这三种框架能够互相协作，实现双向推理，从而提升自然语言处理和人工智能的整体表现。这种协同不仅弥补了单一模型的不足，还为未来研究指明了方向，即如何更紧密地结合结构化知识与语言模型的语义理解能力。
效率与可扩展性的平衡
GraphTranslator、GLM和LinguGKD等研究致力于桥接图模型与LLM，以提升泛化与推理效率。例如，LinguGKD通过将LLM作为教师、GNN作为学生，利用层自适应对比学习提高预测准确性和收敛速度，同时提供更快的推理速度和更少的计算存储需求。这些工作表明，在追求性能的同时，如何平衡计算成本与可扩展性已成为图基础模型落地的重要考量。
Q&A
UniGNN 是什么？它有什么作用？
UniGNN 是一个框架，使现有的图神经网络能够直接应用于超图，并证明比传统算法更有效地处理超图数据。
InstructGLM 如何利用自然语言进行图学习？
InstructGLM 基于自然语言说明设计高度可扩展的提示，用自然语言描述图的几何结构和节点特征，通过指导调优语言模型以生成方式在图上执行学习和推理，超过了所有竞争的 GNN 基准数据集。
知识图谱和大型语言模型有哪三种协同框架？
三种框架分别为：增强了的知识图谱、增强了的大型语言模型和协同增强。它们能互相协作，实现双向推理，提高自然语言处理和人工智能的表现。
ZeroG 如何实现跨数据集的零样本迁移？
ZeroG 通过使用语言模型对节点属性和类别语义进行编码，确保数据集间一致的特征维度，并通过基于提示的子图采样模块丰富子图的语义和结构信息，采用轻量级微调策略降低过拟合风险，保持零样本学习能力。
ULTRA 在知识图谱关系表示方面有什么特点？
ULTRA 是一种基于条件交互的学习方法，用于构建能适用于不同知识图谱的关系表示，在 57 个不同的图谱上展示出类似或优于特定图谱的零样本归纳推理性能，细调可进一步提升性能。
GraphTranslator 和 GLM 如何桥接图模型与大型语言模型？
GraphTranslator 桥接预训练图模型和大型语言模型，实现对预定义任务和开放性任务的统一处理，通过语言指令提供统一视角。GLM 集成了线性文本模型和图神经网络的优点，减轻弱点，在有监督和零样本情况下，在概念网络的关系分类任务上超过了基于 LM 和 GNN 的基线。
