结构保持图变换的调研
内容提要
该文综述图变换器研究，提出分类体系，涵盖结构感知自注意力、子图表示、位置嵌入与注意力改进，并应用于分子预测、视觉任务和超图学习。Graphormer、HyperGT等模型在多个基准取得最优，同时探讨异质图处理与未来挑战。
延伸解读
结构感知自注意力的核心思路
文章指出，图变换器的关键改进在于将图结构信息注入自注意力机制。例如，Graphormer通过结构编码将标准Transformer与图结构结合，使模型能感知节点间的连接关系；另一项工作则用邻域连接性改进注意力，并用拉普拉斯特征向量替代位置编码。这些方法共同表明，保留结构信息是提升图表示学习性能的重要途径。
从基准测试看模型优势
综述提到，改进后的图变换器在多个图预测基准上达到最优结果。Graphormer在OGB Large-Scale Challenge中表现优异，并证明许多流行GNN变体可被其覆盖；HyperGT在超图节点分类任务中超越现有方法，建立了新基准。这些结果说明，结构感知的Transformer架构在分子预测、视觉任务和超图学习等场景中具有竞争力。
异质图与压缩问题的挑战
文章探讨了图变换器在处理异质性图及防止过多压缩方面的效果。异质图包含多种节点和边类型，对模型的结构编码和注意力设计提出更高要求；同时，过度压缩可能损失关键结构信息。这些挑战提示研究者在设计模型时需平衡结构保留与计算效率，未来研究需进一步解决这些问题。
Q&A
图变换器（Graph Transformer）主要分为哪几类？
根据综述，图变换器主要分为三类：辅助模块、基于图的位置嵌入和改进的注意力矩阵。
Graphormer 模型有什么特点？
Graphormer 将标准 Transformer 框架与多种简单的结构编码方法相结合，优化图结构数据的表示学习，并在 OGB Large-Scale Challenge 中取得优异结果，许多流行的 GNN 变体可被其覆盖。
HyperGT 是什么？它在什么任务上表现突出？
HyperGT 是一种超图学习框架，全称 HyperGraph Transformer。它通过全球节点和超边之间的关联以及局部连接性，实现全面的超图表示学习，在超图节点分类任务中性能出色，超过了现有方法。
图变换器在计算机视觉中有哪些应用？
根据任务导向的综述，图变换器在计算机视觉中的应用根据输入数据特征分为五个类别，并针对不同视觉任务讨论了基于 GNN 的方法、表现、挑战和未来方向。
如何将图结构偏差注入 Transformer 以处理有向无环图？
可以通过设计有效的注意力机制来捕捉 DAG 的结构，并采用部分顺序的位置编码方法，从而改善基线 Transformer 的效果。
图变换器在分子预测方面有什么潜力？
研究提出了基于结构感知的新自注意力机制和子图表示方法，提高了图表示学习和预测的性能，相关模型在五个图预测基准测试中达到了最优结果，展示了在分子预测等方面的潜力。
