基于谱视角的归纳图对齐指令:从图预训练到归纳微调之间的桥梁
内容提要
图神经网络“预训练-提示”范式统一预训练与下游任务目标,提升知识迁移效率。GraphPrompt、SGL-PT、HetGPT、SAP、TIGPrompt、HGPROMPT等框架利用可学习提示、结构信息和双模板设计,缩小预训练与下游任务差距,在节点分类、图分类及小样本场景中表现优异。
延伸解读
预训练与提示的鸿沟:结构信息被忽视
文章指出,现有“预训练-提示”范式的一个被忽视问题是:预训练阶段利用图结构信息学习节点表示,但在提示调整阶段却忽略了结构信息。SAP 方法通过双视图对比学习对齐节点属性和图结构的潜在语义空间,并在提示图中加入结构信息,从而在预训练和提示调整阶段一致地利用结构信息。这提示读者,结构信息的连贯使用可能是提升下游任务表现的关键。
统一模板与双模板:不同框架的设计思路
GraphPrompt 将预训练和下游任务统一到一个通用任务模板中,使用可学习提示定位最相关知识。HGPROMPT 则采用双模板设计,不仅统一预训练和下游任务,还统一同质和异质图,并通过双提示帮助定位先验知识。这两种设计都旨在缩小预训练与下游任务之间的差距,但 HGPROMPT 进一步考虑了图类型间的异质性差异。
小样本与异质图:SAP 的适用场景
SAP 在节点分类和图分类任务上进行了大量实验,并表明其可以在同质和异质图上的更具挑战性的小样本场景中实现更好的性能。这意味着 SAP 不仅适用于常规图,还能在标注数据稀缺且图结构复杂的场景下发挥作用。对于面临小样本和异质图问题的读者,SAP 提供了一种利用结构信息进行提示调整的思路。
时序图提示:TIGPrompt 的针对性设计
TIGPrompt 是一个针对时序交互图的通用框架,它整合时序交互图模型,通过时序感知提示和“预训练-基于提示的微调”范式,解决预训练与下游预测中的时序差异和语义分歧挑战。这表明,对于时序图数据,通用的图提示方法可能不够,需要专门设计时序感知的提示来应对动态变化。
Q&A
图神经网络中的“预训练-提示”范式是什么?
“预训练-提示”范式是一种利用较少监督数据将图神经网络适应各种任务的新方法,它通过统一预训练和下游任务的目标,使预训练知识能有效迁移到下游任务。
GraphPrompt框架的主要创新点是什么?
GraphPrompt是一个基于图的新型预训练和提示框架,它将预训练和下游任务统一到一个通用任务模板中,并使用可学习的提示来以任务特定的方式帮助下游任务定位来自预训练模型的最相关知识。
SAP方法如何利用图的结构信息?
SAP在预训练和提示调整阶段都一致地利用结构信息。具体来说,它使用双视图对比学习来对齐节点属性和图结构的潜在语义空间,并在提示的图中加入结构信息以引发更多预训练知识。
HetGPT框架适用于什么类型的图?
HetGPT是一种通用的后训练提示框架,用于改善预训练的异构图神经网络(HGNNs)的预测性能,并通过多视图邻域聚合机制捕捉异构图中的复杂邻域结构。
TIGPrompt框架解决了哪些挑战?
TIGPrompt是一个 versatile 框架,与TIG模型集成,通过使用时间感知提示和“预训练、基于提示的微调”范式,解决了时间交互图模型在预训练和下游预测中的时间差异和语义分歧挑战。
HGPROMPT框架的设计特点是什么?
HGPROMPT通过双模板设计来统一预训练和下游任务,以及同质和异质图,并通过对下游任务的双提示来帮助定位最相关的先验知识,以弥合由于特征变化和任务间的异质性差异导致的差距。