大型语言模型与图神经网络相遇于知识蒸馏
内容提要
本文综述大语言模型与图神经网络结合的研究进展，涵盖文本属性图节点分类、知识蒸馏、图拓扑优化及提示调优等方法，实验表明这些方法在多个基准上提升了性能与可解释性。
延伸解读
知识蒸馏如何实现无图快速推理
文章指出，通过知识蒸馏机制，可以将图神经网络与语言模型结合，使学生模型在无图情况下实现快速推理。这意味着在实际部署时，可能无需依赖完整的图结构，从而降低计算开销。但文章未具体说明蒸馏损失函数或学生模型架构，读者需注意其适用场景可能受限于训练阶段对图数据的依赖。
图拓扑优化带来的性能提升幅度
利用大型语言模型进行图拓扑改善，通过删除不可靠边、添加可靠边以及生成伪标签，在公共基准上提升了0.15%至2.47%的节点分类性能。这一提升幅度相对有限，说明拓扑优化虽有效，但可能受限于基准数据集特性或LLM的语义判断精度，实际应用中需权衡计算成本与收益。
LLM作为增强器与预测器的不同路径
文章提到两种流程：LLMs作为增强器（如LLM-GNN用LLM注释小部分节点，GNN预测其余节点）和LLMs作为预测器。前者结合了LLM的语义理解与GNN的传播能力，后者则直接利用LLM进行节点分类。两种路径各有侧重，读者可根据任务对可解释性和计算效率的需求选择。
可解释性提升与模型效率的平衡
多个方法（如DGTL、知识蒸馏框架）强调通过自然语言解释提高模型可解释性，同时学生模型参数可减小至0.1M-0.02M，比原始模型小100倍。这表明在资源受限设备上部署成为可能，但文章未详细说明解释质量与准确率之间的具体权衡，实际应用时需验证解释是否忠实于模型决策。
Q&A
大型语言模型和知识蒸馏结合在图神经网络中有什么作用？
知识蒸馏用于将大型语言模型的知识提炼到更小的学生模型中，使学生模型能模仿教师模型的性能，从而在资源受限设备上高效部署。例如，一项研究使用LLM的预测概率训练学生模型，在7T数据集上学生模型准确率与教师模型相当，其他数据集上比原始神经网络模型高12%，且参数减少100倍。
如何利用大型语言模型优化文本属性图的拓扑结构？
通过节点属性的语义相似度，采用大型语言模型删除不可靠的边并添加可靠的边，以及利用LLM生成的伪标签改善图拓扑结构。实验证明，这种方法在公共基准测试中提升了0.15%至2.47%的性能。
LLM-GNN方法是如何实现无标签节点分类的？
LLM-GNN方法在小部分节点上利用语言模型进行注释，然后使用图神经网络对其余大部分节点进行预测。通过开发注释质量启发式和利用语言模型的置信度得分来选择节点，从而提高图神经网络的性能。
InstructGLM是什么？它有什么特点？
InstructGLM（指导调整的图语言模型）基于自然语言说明设计高度可扩展的提示，使用自然语言描述图的几何结构和节点特征，通过指导调优语言模型以生成方式在图上执行学习和推理。它在基准数据集上超过了所有竞争的GNN，为将生成语言模型替代GNN作为图机器学习的基础模型提供了启示。
大型语言模型在图机器学习中可以作为哪些角色？
大型语言模型在图机器学习中可以扮演两种角色：作为增强器（enhancer）和作为预测器（predictor）。研究调查了这两种流程在节点分类任务中的潜力，并获得了新的见解，为利用LLMs进行图学习提供了新的可能性和方向。
DGTL模型如何提升文本属性图的推理能力和解释性？
DGTL（Disentangled Graph-Text Learner）模型结合图结构信息和大型语言模型，提升了对文本属性图的推理能力和预测能力，并且通过提供自然语言解释来显著提高模型的解释性。
