预训练模型中的关系学习：来自超图恢复视角的理论
内容提要
本文综述了预训练图模型的现状，分类现有PGMs，并探讨其在社交推荐和药物研究中的应用，提出未来研究方向。同时介绍了开放式关系建模、知识图谱表征模型及其在对象检测中的应用，强调了图基础模型的自我监督预训练任务及其潜在研究方向。
延伸解读
超图重建的理论意义
文章指出，将图而非超图作为现实世界互联系统的建模选择会导致高阶关系丢失，并提出了两个普遍模式。基于学习的超图重建方法利用超边分布的重要统计量，在8个真实世界数据集上表现良好，并通过蛋白质排名和链接预测展示了优势。这提示读者，在建模复杂系统时，需注意高阶关系的保留与恢复。
知识图谱表征模型的演进
文章介绍了HypER、TuckER和MuRP三种知识图谱表征模型，它们能自动预测缺失关系且性能不断进步。这些模型将最新理论研究成果推广到知识图谱领域，并探讨了如何编码不同种类的关系。对于研究者，了解这些模型的演进有助于选择合适的方法进行知识图谱补全。
图基础模型的预训练任务综述
文章综述了图基础模型的自我监督预训练任务，涵盖9个知识类别和25个预训练任务，以及各种下游任务适应策略。提出了图基础模型（GFMs）的概念，并首次全面阐述其关键特征和技术，将现有工作分为基于图神经网络和大语言模型两类。这为理解图基础模型的发展提供了框架。
关系先验在视觉任务中的应用
文章探讨了使用关系进行对象检测和实例分割的有效性，提出基于关系先验的特征增强模型（RP-FEM）。该模型通过图形变换器利用关系先验增强对象建议特征，实验表明能提高检测与分割效果，并抑制不太可能的类别预测和重复预测。这展示了关系信息在视觉任务中的潜力。
Q&A
预训练图模型的分类依据是什么？
预训练图模型基于四个不同维度进行分类。
预训练图模型在社交推荐中有哪些应用？
预训练图模型被应用于社交推荐领域，能够提供个性化推荐。
HypER、TuckER和MuRP模型的主要功能是什么？
这三种模型能够自动预测缺失的关系，并在性能上不断进步。
超图投影对高阶关系的影响是什么？
超图投影会导致高阶关系的丢失，并提出了恢复这些关系的组合不可能性。
如何利用关系进行对象检测？
通过提出基于关系先验的特征增强模型（RP-FEM），利用关系先验增强对象建议特征。
图基础模型的自我监督预训练任务有哪些特点？
图基础模型的自我监督预训练任务包括9个知识类别和25个预训练任务，适应多种下游任务。
