BriefGPT - AI 论文速递
·
松弛图变换器用于对抗攻击
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
图变换器（GTs）通过自注意力计算节点对，但忽略节点位置信息。为了解决这一限制，引入了一种创新且高效的框架，将位置编码（PEs）引入Transformer，生成一组可学习的位置编码，存在于非欧几里德域中的双曲空间。通过这种方法，可以探索用于特定下游任务的PEs的多种选择选项，利用双曲神经网络或双曲图卷积网络。此外，重新使用这些位置编码来减轻深层图神经网络（GNNs）中的过度平滑的影响。实验证实了双曲位置编码在提高深层GNN性能方面的有效性。
🎯
关键要点
- 图变换器（GTs）通过自注意力计算节点对，但忽略节点位置信息。
- 引入了一种框架，将位置编码（PEs）引入Transformer，生成可学习的位置编码。
- 位置编码存在于非欧几里德域中的双曲空间。
- 可以探索用于特定下游任务的多种PEs选择，利用双曲神经网络或双曲图卷积网络。
- 重新使用位置编码以减轻深层图神经网络（GNNs）中的过度平滑影响。
- 实验证实双曲位置编码在提高深层GNN性能方面的有效性。
➡️
