BriefGPT - AI 论文速递
·
使用文字属性的异构图预训练语言模型
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
该研究提出了一种新的语言模型预训练框架，考虑了 Text-Attributed Heterogeneous Graph 中的拓扑和异构信息，通过优化语言模型和辅助异构图神经网络，定义了上下文图，并通过拓扑感知预训练任务来预测与上下文图有关的节点，同时采用文本增强策略来处理节点文本不平衡问题。实验结果证明了该方法的优越性和每个设计的合理性。
🎯
关键要点
-
该研究提出了一种新的语言模型预训练框架。
-
框架考虑了 Text-Attributed Heterogeneous Graph 中的拓扑和异构信息。
-
通过优化语言模型和辅助异构图神经网络，定义了上下文图。
-
采用拓扑感知预训练任务来预测与上下文图有关的节点。
-
使用文本增强策略处理节点文本不平衡问题。
-
在三个不同领域的数据集上进行了链接预测和节点分类任务。
-
实验结果证明了该方法的优越性和每个设计的合理性。
➡️
