通过位置编码比较图变换器
内容提要
该文综述Transformer位置编码研究，涵盖随机位置编码可替代传统方法、绝对位置嵌入导致过度依赖相对信息、NoPE在长度泛化上表现优异，以及图像RPE、tAPE/eRPE、双曲位置编码、Eigenformer与GPSE等在不同任务中的应用与改进。
延伸解读
位置编码的多样性：从随机到双曲
文章综述了多种位置编码方法，包括随机位置编码、图像RPE、tAPE/eRPE、双曲位置编码、Eigenformer和GPSE。这些方法针对不同任务和数据模态设计，例如随机位置编码适用于线性Transformer，双曲位置编码用于图结构数据。读者可以了解位置编码并非单一技术，而是需要根据具体场景选择。
绝对位置嵌入的局限与NoPE的潜力
文章指出，使用绝对位置嵌入会导致模型过度依赖相对位置信息，当句子位置移位时性能显著下降。而NoPE在长度泛化任务中表现优异，无需额外计算，且理论上能代表绝对和相对位置嵌入。这表明解码器-only Transformer不一定需要显式位置嵌入，为长序列处理提供了新思路。
图变换器中的位置编码创新
针对图变换器忽略节点位置信息的问题，文章介绍了双曲位置编码、Eigenformer和GPSE等方法。双曲位置编码将位置编码嵌入非欧几里德空间，并用于缓解深层GNN的过度平滑；Eigenformer利用Laplacian谱感知注意力，提升训练速度；GPSE则通过预训练图编码器捕获位置和结构信息。这些进展提升了图神经网络的性能。
Q&A
随机位置编码是什么？它有什么作用？
随机位置编码是一种生成代替传统加性（正弦）位置编码的PE的方法，它类似于RPE，建立了位置编码与相关高斯过程的交叉协方差结构之间的联系。这种方法能够弥补针对最近的线性Transformer变量不可用于RPE的问题，并在Long-Range Arena基准测试和音乐生成方面展示了性能表现。
使用绝对位置嵌入有什么潜在问题？
使用Transformer语言模型中的绝对位置嵌入会导致对相对位置信息的过度依赖，从而使得模型在句子位置信息被移位时性能显著下降，这表明了使用绝对位置嵌入所建模“相对位置信息”的功效需要重新审视。
NoPE在长度泛化方面表现如何？
NoPE在长度泛化方面表现优异，在一系列的推理和数学任务中，NoPE的表现比其它方法更为优秀，而且无需额外计算。理论上，NoPE能够代表绝对和相对位置嵌入，但在使用SGD训练时，它主要呈现T5相对位置嵌入的注意力模式。同时，scratchpad并不总是有助于解决长度泛化问题，其格式对模型的性能有很大的影响。
图像RPE是什么？它有什么优势？
图像RPE是一种基于2D图像的新型相对位置编码方法，用于图像识别。经过实验验证，该方法可以显著提高DeiT和DETR的准确率，而不需要额外的超参数调节。
tAPE和eRPE是什么？它们如何应用于时间序列分类？
tAPE是时间绝对位置编码，eRPE是一种高效的相对位置编码实现方法。将tAPE/eRPE与卷积输入编码相结合，提出了新的多元时间序列分类模型ConvTran。该模型在32个多元时间序列数据集上进行的广泛实验表明，优于最先进的卷积和transformer-based模型。
双曲位置编码如何用于图变换器？
双曲位置编码是一种创新且高效的框架，将位置编码引入Transformer，生成一组可学习的位置编码，这些位置编码存在于非欧几里德域中的双曲空间。通过这种方法，可以探索用于特定下游任务的PEs的多种选择选项，利用双曲神经网络或双曲图卷积网络。此外，这些位置编码可以重新用于减轻深层图神经网络中的过度平滑的影响。对分子基准数据集、合著作者网络和共同购买网络进行的全面实验证实了双曲位置编码在提高深层GNN性能方面的有效性。
Eigenformer和GPSE分别是什么？
Eigenformer通过一种新颖的对Laplacian谱意识的注意机制，在一些标准的图神经网络基准数据集上实现了与最先进的MP-GNN体系结构和Graph Transformers相当的性能，甚至在某些数据集上超越了最先进的方法。此外，Eigenformer在训练速度方面要快得多，可能是由于内在的图归纳偏置。GPSE是第一个训练图编码器以捕获丰富的位置和结构编码表示来增强任何GNN的编码器，其可用于提取图形位置和结构信息的大型预训练模型的开发并突出它们作为明确计算PSE和现有的自监督预训练方法的可行替代方案。
