GraphFM：一种可扩展的多图预训练框架
内容提要
本文分析了基于自主学习的图神经网络模型的广义化和可扩展性，提出了图基础模型（GFM）及其关键特征，探讨了预训练框架和个性化推荐方法，强调了在不同任务中的性能提升和训练效率，并解决了跨结构模式图的挑战，推动了未来研究方向。
延伸解读
图基础模型的核心挑战与创新视角
文章指出，构建图基础模型（GFM）的关键挑战在于跨结构模式图之间的正向传递。为此，作者提出了“图词汇表”这一新颖视角，通过在图中编码基本可转移单元的不变性来建立词汇表，从而有望解决该挑战，并可能推动未来GFM设计遵循神经规模定律。这一视角为GFM的发展提供了潜在方向。
可扩展预训练框架PGT的工业级应用
PGT是一个基于Transformer的可扩展图预训练框架，能够在工业场景中处理数十亿节点的网页规模图，并具有归纳能力，适用于未见过的新节点和新图。在真实网页规模图上的广泛实验表明，PGT在公共数据集上取得了最先进的性能，兼具可伸缩性和效率，为大规模图预训练提供了实用方案。
文本空间GFM的基准与数据集贡献
针对文本空间图基础模型研究中缺乏统一问题设置的综合基准和足够数据集的问题，文章进行了综合基准研究，并提供了新的文本空间数据集和全面评估。实证结果提供了新的见解，并启发了未来的研究方向，有助于推动该领域的系统化发展。
自监督预训练提升GNN泛化性能
文章提出了一种针对图数据集的预训练策略和自监督方法，通过在节点和整个图级别上预训练表达力强的GNN，使其同时学习有用的局部和全局表示。在多个图分类数据集上的系统研究发现，该策略可避免负面转移并显著提高下游任务的泛化性能，最终在分子性质预测和蛋白质功能预测方面达到了最先进性能。
Q&A
图基础模型（GFM）是什么？
图基础模型（GFM）是一种旨在概括不同图和任务的图模型，解决跨结构模式图之间的正向传递挑战。
PGT框架的主要特点是什么？
PGT（Pre-trained Graph Transformer）是一个可扩展的基于Transformer的图预训练框架，能够处理数十亿节点的网页规模图，并在公共数据集上取得了最先进的性能。
如何提高图神经网络（GNN）的泛化性能？
通过自监督方法和预训练策略，可以提高GNN在多个图分类数据集上的泛化性能，避免负面转移。
文章中提到的个性化推荐方法是怎样的？
该方法结合了异构图神经网络和大型语言模型，实现多类型物品的个性化推荐，并在真实工业平台上进行了有效性验证。
GFM在不同任务中的表现如何？
GFM在节点分类、链接预测和节点聚类等任务上表现出色，能够适应不同的图和任务。
文章中提到的HydraGNN模型有什么应用？
HydraGNN模型适用于材料发现和设计的AI加速模型，展示了多个优化策略和性能。
