子图形转化器：通过图产品统一子图图神经网络与图变形器
内容提要
本文综述了多种图Transformer模型：Graphormer结合结构编码优化图表示；SubFormer通过消息传递处理子图以降低成本；Gophormer基于ego-graphs进行节点分类；GraphFormers融合文本与图；UGformer学习图表示；Mesh Graphormer重建3D人体；SubGNN预测子图；Heterformer融合异构图与语言模型；Relphormer引入Triple2Seq处理知识图谱。
延伸解读
图Transformer的演进脉络
从2019年的UGformer到2023年的SubFormer，图Transformer模型在架构上不断演进。早期模型如UGformer尝试将Transformer直接应用于图数据，而后续模型如Graphormer引入结构编码，SubFormer则通过子图消息传递降低计算成本。这一脉络显示，研究重点从简单套用Transformer转向针对图结构特性的定制化设计，以平衡表达能力和计算效率。
计算效率与性能的权衡
SubFormer通过子图操作减少标记数量，在消费级显卡上几分钟内完成训练，同时保持竞争力；Gophormer利用邻域采样缓解规模问题。这些方法表明，图Transformer正致力于降低计算开销，使模型更易在实际场景中部署。然而，效率提升可能伴随信息损失，如何在不牺牲过多性能的前提下优化计算，仍是关键挑战。
跨模态与异构图融合
GraphFormers和Heterformer将文本与图结构融合，分别处理文本图和异构图，提升了节点表示学习的语义丰富度。Relphormer则针对知识图谱引入Triple2Seq和关系编码。这些工作显示，图Transformer正从纯结构数据扩展到多模态和异质信息，以应对更复杂的现实应用，如链接预测和语义检索。
应用场景的多样化
图Transformer已应用于多个领域：Mesh Graphormer用于3D人体重建，SubGNN用于生物医学子图预测，Gophormer用于节点分类。不同场景对模型的要求各异，例如生物医学数据常具有复杂拓扑和未连接组件，需要专门设计。这表明图Transformer的通用性，但也提示需根据具体任务调整模型结构。
Q&A
Graphormer 是什么？它有什么主要贡献？
Graphormer 是一种将标准 Transformer 框架与多种简单结构编码方法相结合的新型图神经网络，用于优化图结构数据的表示学习。它在 OGB Large-Scale Challenge 中取得了优异结果，并证明许多流行的 GNN 变体可以被 Graphormer 覆盖。
SubFormer 如何降低计算成本并处理长距离交互？
SubFormer 通过消息传递机制对子图进行操作，减少了标记数量，从而增强了学习长距离交互的能力。与最先进的图变换器相比，它在计算成本的一小部分情况下保持竞争力，在消费级显卡上训练仅需几分钟。
Gophormer 如何解决节点分类中的规模问题？
Gophormer 基于 ego-graphs，通过邻域采样缓解规模问题，并采用 proximity-enhanced attention 机制捕捉节点间的结构偏差，通过一致性规则和多样本推理策略稳定训练和测试。在六个基准数据集上超越了现有图转换器和热门 GNN。
GraphFormers 如何融合文本和图信息？
GraphFormers 将语言模型的 Transformer 块与图神经网络嵌套在一起，将文本编码和图聚合融合到迭代的工作流程中，从全局视角准确理解每个节点的语义。在三个大规模基准数据集上，其运行效率与 SOTA 基准模型相当。
UGformer 有哪些变体？各自在什么任务上表现最佳？
UGformer 有两个变体：第一个变体利用 Transformer 对每个输入节点的一组采样邻居进行编码，在归纳和非监督转导设置下实现了基准数据集上的最新最准确统计；第二个变体利用 Transformer 对所有输入节点进行编码，在归纳文本分类中获得了最高准确率。
Mesh Graphormer 用于什么任务？效果如何？
Mesh Graphormer 是一种图卷积强化 Transformer，用于从单张图像中重建 3D 人体姿势和网格。实验结果表明，该方法在多个基准测试中显著优于先前的最先进方法。
SubGNN 在子图预测任务中有什么创新和优势？
SubGNN 使用神经路由机制学习分离的子图表示，指定三个信道以捕捉子图拓扑的不同方面。在 8 个子图分类数据集以及具有复杂拓扑和多个未连接组件的生物医学数据集上，优于基线模型 19.8%。
Heterformer 如何融合异构图和语言模型？效果如何？
Heterformer 是一种异构图神经网络-嵌套变形器，能够融合图神经网络和预训练语言模型来进行节点表示学习。实验证明其在链接预测、节点分类、节点聚类以及语义检索方面都优于现有基准模型。
Relphormer 如何解决知识图谱中的异构结构和语义信息捕获问题？
Relphormer 引入 Triple2Seq 动态采样上下文化子图序列作为输入，以解决知识图谱中异构结构和语义信息难以捕获的问题，并提出一种新颖的 self-attention 机制编码关系信息。实验表明其性能优于基线模型。
