面向个性化的图基础模型
内容提要
本文介绍了图基础模型（GFM）的概念及其关键特征，探讨了基于图神经网络和大语言模型的研究现状与未来方向。提出了“图词汇表”视角，旨在解决跨结构模式图的挑战，并开发了线性时间图神经网络（LTGNN）和语言模型图神经网络（LM-GNN），以提升推荐系统和多项监督学习任务的性能。
延伸解读
图基础模型的核心挑战与“图词汇表”思路
图基础模型旨在用一个模型概括不同图和任务，但跨结构模式图之间的正向传递是主要难点。文章提出“图词汇表”视角，通过在图中编码基本可转移单元的不变性来建立词汇表，从而解决这一挑战。这一思路有望推动未来GFM设计遵循神经规模定律，为模型的可扩展性和泛化能力提供新方向。
线性时间图神经网络：平衡可扩展性与表达能力
推荐系统中，基于GNN的方法常面临可扩展性问题。文章提出线性时间图神经网络（LTGNN），旨在实现与经典矩阵分解方法相当的可扩展性，同时保持GNN强大的表达能力以提升预测准确性。实验证明了该算法在有效性和可扩展性上的优势，为大规模推荐场景提供了实用方案。
语言模型与图神经网络的融合：LM-GNN框架
LM-GNN通过分阶段微调BERT模型，将异构图结构与文本信息结合，用于节点和边分类以及链接预测等多项监督学习任务。在亚马逊搜索-购买-产品应用中，该框架取得了有竞争力的结果。这表明融合文本与图结构能提升模型在真实场景中的表现，为多模态图学习提供了参考。
隐私保护与高阶推理：图基础模型的扩展应用
文章还涉及两个扩展方向：一是FeSoG框架，采用图神经网络进行联邦学习，以解决社交推荐中的隐私问题，并在三个真实数据集上验证了有效性；二是因子图神经网络模型，能有效捕捉高阶关系进行推理和学习，通过适当选择信息聚合操作，统一实现了Max-Product和Sum-Product循环置信传播。这些工作展示了图基础模型在隐私保护和复杂推理方面的潜力。
Q&A
什么是图基础模型（GFM）？
图基础模型（GFM）是一种旨在概括不同图和任务的图模型，旨在解决跨结构模式图之间的挑战。
图词汇表的作用是什么？
图词汇表通过编码基本可转移单元的不变性，帮助解决构建GFM时跨结构模式图之间的正向传递问题。
线性时间图神经网络（LTGNN）有什么优势？
LTGNN实现了与经典方法相当的可扩展性，同时保持强大的表达能力，以获得更准确的预测。
语言模型图神经网络（LM-GNN）是如何工作的？
LM-GNN通过分阶段的BERT模型微调，结合异构图结构与文本，应用于节点和边分类及链接预测。
因子图神经网络模型的特点是什么？
因子图神经网络模型能够有效捕捉高阶关系进行推理和学习，并通过信息聚合操作实现Max-Product和Sum-Product循环置信传播。
FeSoG框架的目的是什么？
FeSoG框架旨在解决传统社交推荐算法中的隐私问题，采用图神经网络进行联邦学习。
