CAPE：用于长度推断的上下文自适应位置编码
内容提要
本文提出了增强型绝对位置嵌入（CAPE）和多种位置编码方法，以提升Transformer模型在长序列上的泛化能力。研究显示，NoPE在多项任务中表现优异且无需额外计算。同时探讨了相对与绝对位置编码的关系，提出的新型注意力机制URPE在性能和参数效率上优于其他模型。
延伸解读
位置编码的多样性：从绝对到相对
文章梳理了多种位置编码方法，包括绝对位置编码（如CAPE、tAPE）、相对位置编码（如eRPE、图像RPE）以及无位置编码（NoPE）。这些方法各有侧重：绝对位置编码简单快速，但可能过度依赖相对位置信息；相对位置编码能捕捉序列元素间的相对关系，但计算复杂度较高；NoPE则无需额外计算，在多项任务中表现优异。理解这些方法的差异有助于根据任务需求选择合适的编码方式。
NoPE的潜力与局限
NoPE在推理和数学任务中表现优于其他方法，且无需额外计算，理论上能代表绝对和相对位置嵌入。然而，其上下文长度有限，泛化失败与注意力分布分散有关。通过调整注意力头的温度超参数，可以扩展NoPE的上下文大小，使其在长序列任务中达到与最先进算法竞争的性能。这表明NoPE是一种有前景的轻量级方案，但需注意其长度泛化的限制。
位置编码在跨模态任务中的应用
文章展示了位置编码在机器翻译、图像识别和时间序列分类等领域的应用。例如，CAPE提升了机器翻译的性能；图像RPE显著提高了DeiT和DETR的准确率；tAPE和eRPE结合卷积输入编码，在多元时间序列分类中优于最先进的模型。这些案例说明，针对不同模态设计合适的位置编码能有效提升模型性能，但需权衡计算效率和泛化能力。
Q&A
CAPE方法的主要优势是什么？
CAPE方法提升了Transformer在长序列上的泛化能力，同时保持了绝对位置嵌入的简单性和快速性。
NoPE在任务中的表现如何？
NoPE在多项任务中表现优异，且无需额外计算，能够处理比传统位置编码更长的序列。
绝对位置编码与相对位置编码有什么关系？
绝对位置编码与相对位置编码之间存在密切关系，使用绝对位置嵌入可能导致对相对位置信息的过度依赖。
URPE注意力机制的特点是什么？
URPE是一种新型注意力机制，在性能和参数效率上优于其他模型。
随机位置编码方法的作用是什么？
随机位置编码方法可以替代传统的加性位置编码，并在多个基准测试中表现良好。
如何扩展NoPE的上下文长度？
可以通过调整注意力头的温度超参数来扩展NoPE的上下文长度。
