LLM 与 GNN 互补：用于多模态图学习的 LLM 蒸馏
内容提要
本文探讨了大型语言模型（LLMs）与图神经网络（GNN）结合在节点分类任务中的应用。通过无标签节点分类方法LLM-GNN，利用语言模型提高注释质量，增强GNN性能。研究表明，LLMs能改善图特征质量，减少对标记数据的依赖，并解决图的异质性问题。文章总结了图机器学习的最新进展及未来研究方向。
延伸解读
LLM 与 GNN 的互补角色
文章指出，LLM 可作为教师模型提供节点特征，GNN 作为学生模型进行预测，两者在潜在空间对齐。这种互补设计让 GNN 在保持快速推理和低存储需求的同时，提升预测准确性和收敛速度。LLM 还能改善图特征质量，减少对标记数据的依赖，并应对异质性和分布外泛化等挑战。
无标签节点分类的实践路径
LLM-GNN 方法利用语言模型对小部分节点进行注释，再让 GNN 预测其余节点。通过注释质量启发式和语言模型置信度得分选择节点，能有效提升 GNN 性能。这为标记数据稀缺的图学习场景提供了一条可行路径，但文章未说明具体选择比例或阈值。
分子图上的整合效果差异
在分子文本和分子科学领域，预训练语言模型与信息传递神经网络结合时，对比学习和融合策略在小规模分子图上优于基准模型，但在大规模图上未见性能改进。这表明整合方法的收益可能受图规模影响，实际应用需考虑规模因素。
研究分类与未来方向
文章将现有研究按 LLM 在图任务中的角色分为增强器、预测器和对齐组件三类，并系统调查了代表性方法。同时指出当前研究的局限性，强调未来方向包括探索 LLM 在图学习中的潜力、解决大规模图上的性能瓶颈，以及开发更有效的对齐机制。
Q&A
LLM-GNN方法是如何提高GNN性能的？
LLM-GNN通过利用大型语言模型对少量节点进行注释，提升了图神经网络的性能，增强了预测准确性和收敛速度。
大型语言模型在图机器学习中的优势是什么？
大型语言模型能够提高图特征质量，减少对标记数据的依赖，并解决图的异质性和分布外泛化等挑战。
在什么情况下LLM-GNN方法表现优越？
LLM-GNN在小规模图上表现优越，但在大规模图上未见性能改进。
文章中提到的图形语言模型（GLM）有什么特点？
图形语言模型（GLM）结合了线性文本模型和图神经网络的优点，能够在关系分类任务上超过基线模型。
LLM-GNN方法是如何进行无标签节点分类的？
LLM-GNN通过语言模型对小部分节点进行注释，然后使用图神经网络对其余节点进行预测。
未来的研究方向有哪些？
未来研究方向包括探索LLMs在图机器学习中的潜力，发现新的见解，并为图学习提供新的可能性。
