本文探讨了旋转位置嵌入（RoPE）在自回归变换器中的作用，强调其通过引入位置依赖的旋转来改善信息保留和时序建模能力。研究表明，RoPE的旋转矩阵引起嵌入中的相位变化，揭示了频率成分对模型行为的重要性。

本文介绍了一种新的RoPE扩展方法YaRN，可以高效扩展大型语言模型的上下文窗口。YaRN通过旋转位置嵌入实现，经过微调后可以达到最先进的性能。文章还介绍了YaRN的基本原理和位置插值的方法。