本文探讨了旋转位置嵌入（RoPE）如何通过位置依赖的旋转提升变换器模型的信息保留和时序建模能力，强调频率成分的重要性。

本文介绍了一种新的RoPE扩展方法YaRN，可以高效扩展大型语言模型的上下文窗口。YaRN通过旋转位置嵌入实现，经过微调后可以达到最先进的性能。文章还介绍了YaRN的基本原理和位置插值的方法。