UniGraph:从自然语言中学习跨领域图基础模型

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

我们提出了UniGraph框架,使用TAGs训练图基础模型,实现泛化能力。采用级联的LMs和GNNs构建骨干网络,基于MGM的自我监督训练目标,并引入LLMs进行图指令调优,实现零样本预测。实验证明我们的模型在自我监督表示学习、少样本上下文转移和零样本转移方面有效,超越或匹配了受监督训练的GNNs的性能。

🎯

关键要点

  • 提出了UniGraph框架,通过使用文本属性图(TAGs)训练图基础模型。

  • 实现对未见过的图和任务在不同领域中的泛化能力。

  • 采用级联的语言模型(LMs)和图神经网络(GNNs)构建骨干网络。

  • 基于掩码图建模(MGM)的自我监督训练目标。

  • 引入大型语言模型(LLMs)进行图指令调优,实现零样本预测。

  • 实验证明模型在自我监督表示学习、少样本上下文转移和零样本转移方面有效。

  • 模型性能超越或匹配了受监督训练的GNNs。

➡️

继续阅读