双石击鸟：双层位置编码实现更好的长度外推
内容提要
本文综述Transformer位置编码研究，涵盖BERT位置编码的局部性与对称性、BPE优于拼音音节、解耦位置注意力提升效率、跨语言位置编码改善翻译、解码器NoPE长度泛化更佳、超几何位置编码兼容FlashAttention、线性插值扩展ALiBi外推、动态规划编码优化分词、随机位置编码媲美相对编码、动态位置编码提升翻译性能。
延伸解读
位置编码的核心特性与弱点
文章指出，BERT-style模型的位置编码具有局部性和对称性两个常见特性，这些特性与下游任务性能相关。同时，研究对当前位置编码的弱点进行了定量评估，为改进位置编码提供了依据。读者可以关注这些特性如何影响模型行为，以及弱点评估的具体方法。
不同位置编码方法的比较
文章综述了多种位置编码方法：NoPE在解码器模型中长度泛化更优，且无需额外计算；超几何位置编码（HyPE）兼容FlashAttention-2，并能近似ALiBi的注意力偏置；线性插值扩展ALiBi的外推范围；随机位置编码媲美相对编码。这些比较有助于理解各方法的适用场景和权衡。
跨语言与翻译任务中的位置编码
在翻译任务中，BPE单元略优于拼音音节，且更适用于非元音书写系统。跨语言位置编码利用括号转换语法（BTG）的重排序信息，鼓励自注意力网络学习双语对角线对齐，在多个翻译任务中显著提升质量。动态位置编码（DPE）通过纠正目标单词的位置信息，在英德法意翻译中取得性能提升。
Q&A
BERT类模型的位置编码有什么核心特性？
BERT类模型的位置编码具有局部性和对称性两个核心特性，这些特性与下游任务性能相关。
在翻译任务中，BPE和拼音音节哪个作为基本单元更好？
BPE units作为翻译单元略优于拼音音节单元，并且更适用于非元音书写系统的语言。
Decoupled Positional Attention有什么优势？
Decoupled Positional Attention将位置和段信息编码为Transformer模型，提高了训练和推理效率，在GLUE、XTREME和WMT基准测试中实现了竞争性表现，并可推广到远程transformers，显示性能提升。
跨语言位置编码如何改善翻译质量？
跨语言位置编码将自注意力网络中的位置编码扩展为双语感知潜在结构，利用括号转换语法基于重排序信息，鼓励自注意力网络学习双语对角线对齐，在多个翻译任务中显著且一致地改善了翻译质量。
解码器Transformer中，NoPE在长度泛化上表现如何？
NoPE在一系列推理和数学任务中表现比其它方法更优秀，且无需额外计算。理论上NoPE能代表绝对和相对位置嵌入，但使用SGD训练时主要呈现T5相对位置嵌入的注意力模式。scratchpad并不总是有助于解决长度泛化问题，其格式对模型性能有很大影响。
超几何位置编码（HyPE）如何与FlashAttention兼容？
HyPE利用超几何函数特性编码令牌相对位置，通过初步连接操作和矩阵乘法实现相对距离编码，间接将偏置引入softmax计算，从而确保与FlashAttention-2兼容，并支持对编码中任何潜在可学习参数的梯度反向传播。
