KDD 2024｜港大黄超团队深度解析大模型在图机器学习领域的「未知边界」
内容提要
这篇综述介绍了大型语言模型（LLMs）与图学习的结合，分析了四种不同的模型架构设计类型，并讨论了未来研究方向。该综述为研究人员提供了参考资源，推动LLMs与图数据结合应用的技术创新和突破。
延伸解读
四类架构的核心差异
综述依据模型推理流程，将LLMs与图学习的结合分为四类：GNNs作为前缀、LLMs作为前缀、LLMs与图集成、仅使用LLMs。前两类中，一方作为另一方的特征或标签提供者；集成类追求深度融合与共同训练；仅LLMs类则完全放弃图编码器，直接让LLMs处理图结构。这一分类有助于研究者根据任务需求选择合适的设计路径。
GNNs作为前缀的适用场景
当GNNs作为前缀时，它充当结构编码器，将图数据转换为结构感知的token序列，再输入LLMs。该方法分为节点级和图级token化：节点级保留细粒度结构，适合节点分类、链接预测；图级通过池化捕捉全局语义，适合图级任务。这种设计提升了LLMs对图结构的解析能力，但依赖GNNs的编码质量。
LLMs作为前缀的优化逻辑
LLMs作为前缀时，利用LLMs生成的文本、标签或嵌入来优化GNNs训练。一方面，LLMs可生成更丰富、通用的节点嵌入，弥补传统嵌入在质量和泛化上的不足；另一方面，LLMs生成的标签可作为监督信号，增强GNNs训练。这种方法不直接改变GNNs的输入，而是通过更精细的监督提升其性能。
未来挑战与方向
综述指出，当前方法多集中于传统图任务，未来需探索多模态图与LLMs的融合、降低计算成本以处理大规模图、拓展至图生成等复杂任务，以及构建用户友好的图智能体。这些方向旨在突破现有瓶颈，推动LLMs在图领域的实际应用，但同时也面临效率、泛化与交互性等多重挑战。
Q&A
大型语言模型与图学习结合的研究热点是什么？
将大型语言模型与图学习技术相融合，以提升图学习任务的效能，已成为研究热点。
文章中提到的四种模型架构设计类型是什么？
四种模型架构设计类型包括：GNNs作为前缀、LLMs作为前缀、LLMs与图集成、仅使用LLMs。
图神经网络在图学习中的作用是什么？
图神经网络通过聚合邻近节点的信息来更新节点的嵌入表示，提升图结构数据的解析能力。
未来的研究方向有哪些？
未来研究方向包括多模态图与LLMs的融合、提升效率与降低计算成本、应对多样化的图任务、构建用户友好的图智能体。
如何提升LLMs在图处理任务中的能力？
通过将LLMs与图数据深入整合，优化GNNs的参数学习，可以提升LLMs在图处理任务中的能力。
文章中提到的GNNs作为前缀的方法有什么优势？
GNNs作为前缀的方法显著提升了LLMs对图结构数据的解析能力，为多种下游任务带来益处。
