HoPE: A Novel High-Frequency Positional Encoding with No Long-Term Decay to Enhance Context Awareness and Extrapolation Capability

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究质疑传统位置编码在大语言模型中的长期衰减假设,提出高频旋转位置编码(HoPE),以优化位置和语义表示,增强模型的上下文意识和外推能力。

🏷️

标签

➡️

继续阅读