BriefGPT - AI 论文速递 · 2024-12-23T00:00:00Z

Fourier Position Embedding: Enhancing Periodic Extension of Attention for Length Generalization

📝

内容提要

本研究分析了语言模型在长度泛化方面的局限，提出傅里叶位置嵌入（FoPE）以增强注意力机制的周期扩展能力。实验结果显示，FoPE在不同上下文窗口下具有更稳定的困惑度和一致的准确性。

🏷️

标签

傅里叶位置嵌入 实验结果 注意力机制 语言模型 长度泛化