基于结构化语言知识的视觉 - 语言模型的层次化提示学习
原文约500字/词，阅读约需1分钟。发表于：。本研究提出一种称为分层提示调整的新方法，利用大语言模型（LLMs）建立描述每个类别的图形模型，以模拟描述类别的实体和属性及其相关性，并通过引入关系引导注意模块来捕捉实体和属性之间的关联，以及通过结合整体语义建模来处理更复杂和长期的关系。实验结果表明，我们的方法具有很强的效果，并且比现有的最先进方法具有更好的泛化性能。
图神经网络 (GNN) 在学习图数据的语义方面具有很强的能力。最近，一种名为 “预训练、提示” 的新范式在利用较少监督数据将 GNNs 适应各种任务方面取得了有希望的结果。我们提出了一种新颖的基于结构的 GNN 提示方法，即 SAP，它在预训练和提示调整阶段都一致地利用了结构信息。我们的实验证明了 SAP 的有效性。此外，SAP 可以在同质和异质图上的更具挑战性的小样本场景中实现更好的性能。
