使用文字属性的异构图预训练语言模型

该研究提出了一种新的语言模型预训练框架，考虑了 Text-Attributed Heterogeneous Graph 中的拓扑和异构信息，通过优化语言模型和辅助异构图神经网络，定义了上下文图，并通过拓扑感知预训练任务来预测与上下文图有关的节点，同时采用文本增强策略来处理节点文本不平衡问题。实验结果证明了该方法的优越性和每个设计的合理性。