本文介绍RoPE与ALiBi两种相对位置编码：RoPE通过旋转矩阵使点积仅依赖相对位置，但高频通道在长距离会绕圈失真，需通过base scaling、YaRN等方法扩展；ALiBi通过线性距离惩罚实现外推稳定，但压制远距离强相关内容。文章还指出有效上下文常短于宣称长度，并讨论相对位置编码在算法推理任务上的局限。

本文介绍了一种新的RoPE扩展方法YaRN，可以高效扩展大型语言模型的上下文窗口。YaRN通过旋转位置嵌入实现，经过微调后可以达到最先进的性能。文章还介绍了YaRN的基本原理和位置插值的方法。

本文介绍了旋转位置编码的实现方法，包括预计算频率和复数、重塑形状和应用旋转嵌入等函数。通过调用旋转位置编码函数，在注意力机制中加入相对位置信息。同时，文章还介绍了LLaMA版的实现方法。