图神经网络是否能够成为 LLMs 的好适配器？
内容提要
本文综述大语言模型与图模型结合学习文本属性图的研究，涵盖LLM作为增强器或预测器、知识蒸馏、图拓扑优化、少样本节点分类及可解释性等方向，旨在兼顾性能、效率与隐私。
延伸解读
LLM与图模型结合的两条路径
文章梳理了LLM与图模型结合的两种主要方式：一是将LLM作为增强器，利用其文本理解能力优化图结构或生成节点特征；二是将LLM作为预测器，直接进行节点分类。这两种路径各有侧重，增强器方式更注重利用LLM的语义信息来改善图数据质量，而预测器方式则探索LLM在图表征学习中的直接应用潜力。
知识蒸馏解决可扩展性与隐私问题
针对LLM在图学习任务中面临的可扩展性、成本和隐私挑战，文章介绍了知识蒸馏方法，如LinguGKD框架，将LLM作为教师模型，图神经网络作为学生模型，通过节点分类提示和层自适应对比学习，使学生模型模仿教师模型的推理，从而在保持性能的同时提升推理速度并减少计算存储需求。
图拓扑优化与少样本学习
文章还探讨了利用LLM优化文本属性图的拓扑结构，通过语义相似度删除不可靠边、添加可靠边，以及生成伪标签来改善图结构，实验显示性能提升0.15%至2.47%。此外，在少样本场景下，LLM-GNN和ENG等方法通过LLM注释部分节点或增强图数据，再由图神经网络预测其余节点，有效提升了节点分类性能。
Q&A
大语言模型和图模型结合学习文本属性图的主要动机是什么？
主要动机是解决大语言模型的可扩展性、成本和隐私问题，通过将大语言模型的能力提取到本地图模型上，同时利用图模型处理图结构数据。
LLM作为增强器和LLM作为预测器这两种流程有什么区别？
LLM作为增强器是指利用LLM增强图数据或特征，而LLM作为预测器是指直接使用LLM进行节点分类等预测任务。文章调查了这两种潜在流程在节点分类任务中的应用。
如何利用大语言模型改善文本属性图的拓扑结构？
通过节点属性的语义相似度，采用大语言模型删除不可靠的边并添加可靠的边，以及利用大语言模型生成的伪标签改善图的拓扑结构。实验证明在公共基准测试中提升了0.15%至2.47%的性能。
LinguGKD框架是如何工作的？
LinguGKD框架将大语言模型作为教师模型，图神经网络作为学生模型，通过设计的节点分类提示来调过教师LLM的层次化学习到的节点特征和学生GNN在潜在空间的对齐，并采用层自适应对比学习策略，提高了学生GNN的预测准确性和收敛速度，同时提供了更快的推理速度和更少的计算和存储需求。
在少样本节点分类中，LLM-GNN方法是如何工作的？
LLM-GNN方法在小部分节点上利用语言模型进行注释，然后使用图神经网络对其余大部分节点进行预测，通过开发注释质量启发式和利用语言模型的置信度得分来选择节点，从而提高图神经网络的性能。
DGTL模型如何提高文本属性图推理的可解释性？
DGTL模型结合图结构信息和大型语言模型，提升了对文本属性图的推理能力和预测能力，并且通过提供自然语言解释来显著提高模型的解释性。
