本研究分析了语言模型在长度泛化方面的局限，提出傅里叶位置嵌入（FoPE）以增强注意力机制的周期扩展能力。实验结果显示，FoPE在不同上下文窗口下具有更稳定的困惑度和一致的准确性。