本文提出了增强型绝对位置嵌入（CAPE）和多种位置编码方法，以提升Transformer模型在长序列上的泛化能力。研究显示，NoPE在多项任务中表现优异且无需额外计算。同时探讨了相对与绝对位置编码的关系，提出的新型注意力机制URPE在性能和参数效率上优于其他模型。