BriefGPT - AI 论文速递 · 2024-10-28T00:00:00Z HoPE: A Novel High-Frequency Positional Encoding with No Long-Term Decay to Enhance Context Awareness and Extrapolation Capability 💡 原文英文，约100词，阅读约需1分钟。 📝 内容提要 本研究质疑传统位置编码在大语言模型中的长期衰减假设，提出高频旋转位置编码（HoPE），以优化位置和语义表示，增强模型的上下文意识和外推能力。 🏷️ 标签 encoding 上下文意识 位置编码 外推能力 大语言模型 高频旋转 阅读原文 生成长图 分享链接 已复制链接
