SGFormer:具有无近似线性复杂度的单层图变换器
发表于: 。本研究解决了在大图上学习表示的效率问题,挑战在于现有变换器模型通常过于复杂且层数过多。提出的SGFormer简化了模型架构,通过单层全局注意力实现线性缩放,并保持了表示学习的能力。研究表明,SGFormer在中等规模图上具有显著的推理加速效果,尤其在标记数据有限的情况下依然表现出竞争力。
本研究解决了在大图上学习表示的效率问题,挑战在于现有变换器模型通常过于复杂且层数过多。提出的SGFormer简化了模型架构,通过单层全局注意力实现线性缩放,并保持了表示学习的能力。研究表明,SGFormer在中等规模图上具有显著的推理加速效果,尤其在标记数据有限的情况下依然表现出竞争力。