高维RoPE注意力的标记距离建模能力

本研究解决了位置嵌入如何捕捉长期上下文信息的理解问题。通过对不同维度在RoPE编码中的变化频率进行分析，识别了名为位置头的特定注意力头，其在处理长输入时发挥关键作用。研究结果显示，位置头与长度外推的效率及高维注意力分配的扩展之间存在显著关联，从而为长文本理解的未来研究提供了重要启示。