使用文字属性的异构图预训练语言模型
原文中文，约300字，阅读约需1分钟。发表于：。该研究提出了一种新的语言模型预训练框架，明确考虑了 Text-Attributed Heterogeneous Graph 中的拓扑和异构信息，通过优化语言模型和辅助异构图神经网络，定义了上下文图，并通过拓扑感知预训练任务来预测与上下文图有关的节点，同时采用文本增强策略来处理节点文本不平衡问题。在三个不同领域的数据集上进行了链接预测和节点分类任务，并实验结果证明了该方法的优越性和每个设计的合理性。
该研究提出了一种新的语言模型预训练框架，考虑了 Text-Attributed Heterogeneous Graph 中的拓扑和异构信息，通过优化语言模型和辅助异构图神经网络，定义了上下文图，并通过拓扑感知预训练任务来预测与上下文图有关的节点，同时采用文本增强策略来处理节点文本不平衡问题。实验结果证明了该方法的优越性和每个设计的合理性。
