AnyGraph:图基础模型在实际应用中的发展
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
该文章介绍了UniGraph框架,通过使用文本属性图(TAGs)训练图基础模型,实现对未见过的图和任务在不同领域中的泛化能力。该方法采用了级联的语言模型(LMs)和图神经网络(GNNs)构建的骨干网络以及基于掩码图建模(MGM)的自我监督训练目标,并引入大型语言模型(LLMs)进行图指令调优,使模型能够进行零样本预测。实验证明该模型在未见过的图的自我监督表示学习、少样本上下文转移和零样本转移方面有效,甚至超越或匹配了在目标数据集上进行受监督训练的GNNs的性能。
🎯
关键要点
-
提出了UniGraph框架,通过文本属性图(TAGs)训练图基础模型。
-
实现对未见过的图和任务在不同领域中的泛化能力。
-
采用级联的语言模型(LMs)和图神经网络(GNNs)构建骨干网络。
-
基于掩码图建模(MGM)的自我监督训练目标。
-
引入大型语言模型(LLMs)进行图指令调优,实现零样本预测。
-
实验证明模型在未见过的图的自我监督表示学习方面有效。
-
模型在少样本上下文转移和零样本转移方面表现优异。
-
模型性能超越或匹配了受监督训练的GNNs。
🏷️
标签
➡️