大型语言模型时代的图机器学习
内容提要
本文探讨了大型语言模型（LLMs）在图机器学习中的应用，提出了将其分为增强器、预测器和对齐组件的新分类法。研究分析了LLMs在节点分类任务中的潜力，讨论了现有研究的局限性及未来方向，强调了LLMs与图神经网络结合的有效性，并提出了新的模型和方法，展示了LLMs在图生成和分析中的优势。
延伸解读
LLM在图学习中的三种角色
文章提出了一种新的分类法，根据LLM在图相关任务中扮演的角色将其分为增强器、预测器和对齐组件三类。增强器利用LLM提升图模型性能，预测器直接使用LLM进行图任务预测，对齐组件则负责对齐图与语言模态。这一分类有助于研究者系统理解LLM与图机器学习的结合方式，并为后续方法设计提供框架参考。
节点分类的两条技术路径
针对节点分类任务，文章探讨了LLM作为增强器和预测器两种流程。作为增强器时，LLM可用于生成节点特征或标签，辅助GNN训练；作为预测器时，LLM直接进行节点分类。文章还介绍了LLM-GNN方法，利用LLM标注小部分节点，再通过GNN预测其余节点，实验证明了其有效性。这为无标签节点分类提供了新思路。
图生成与关系分类的初步探索
文章展示了LLM在图生成和关系分类任务中的潜力。LLM4GraphGen模型表明GPT-4在基于规则和分布的图生成任务中展现初步能力，且在生成特定属性分子方面有潜力，但流行提示方法并不一致地提升性能。图形语言模型（GLM）在关系分类任务上超过了基于LM和GNN的基线。这些探索为LLM在图领域的应用提供了基础见解。
局限与未来方向
文章指出当前研究仍存在局限性，例如LLM在图任务中的性能受提示方法影响，且在不同图类型（纯图、文本丰富图、文本配对图）中表现各异。未来研究应关注提升LLM与图结构数据的集成效果，改善图模型的上下文理解和适应性，并探索更有效的模型设计和训练策略。这些方向为持续进展提供了路径。
Q&A
大型语言模型在图机器学习中的应用有哪些分类？
大型语言模型在图机器学习中的应用被分为增强器、预测器和对齐组件三类。
LLMs如何在节点分类任务中发挥作用？
LLMs在节点分类任务中可以作为增强器和预测器，通过不同的流程提高分类性能。
LLM-GNN模型的主要特点是什么？
LLM-GNN模型结合了大型语言模型和图神经网络，通过无标签节点分类提高了图神经网络的性能。
InstructGLM模型的创新之处在哪里？
InstructGLM模型通过自然语言描述图的几何结构和节点特征，超越了所有竞争的GNN基准数据集。
LLMs在图生成任务中的表现如何？
LLMs在图生成任务中展现了潜力，特别是在生成具有特定属性的分子方面。
图形语言模型（GLM）如何结合LM和GNN的优缺点？
图形语言模型（GLM）集成了线性文本模型和图神经网络的优点，同时减轻了它们的弱点，在关系分类任务上表现优于基线。
