UniGraph:从自然语言中学习跨领域图基础模型
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
我们提出了UniGraph框架,使用TAGs训练图基础模型,实现泛化能力。采用级联的LMs和GNNs构建骨干网络,基于MGM的自我监督训练目标,并引入LLMs进行图指令调优,实现零样本预测。实验证明我们的模型在自我监督表示学习、少样本上下文转移和零样本转移方面有效,超越或匹配了受监督训练的GNNs的性能。
🎯
关键要点
-
提出了UniGraph框架,通过使用文本属性图(TAGs)训练图基础模型。
-
实现对未见过的图和任务在不同领域中的泛化能力。
-
采用级联的语言模型(LMs)和图神经网络(GNNs)构建骨干网络。
-
基于掩码图建模(MGM)的自我监督训练目标。
-
引入大型语言模型(LLMs)进行图指令调优,实现零样本预测。
-
实验证明模型在自我监督表示学习、少样本上下文转移和零样本转移方面有效。
-
模型性能超越或匹配了受监督训练的GNNs。
➡️