结构之法 算法之道 · 2023-12-19T04:26:03Z 大模型上下文扩展之YaRN解析：从直接外推ALiBi、位置插值PI、NTK-aware插值、YaRN 💡 原文中文，约3100字，阅读约需8分钟。 📝 内容提要 本文介绍了一种新的RoPE扩展方法YaRN，可以高效扩展大型语言模型的上下文窗口。YaRN通过旋转位置嵌入实现，经过微调后可以达到最先进的性能。文章还介绍了YaRN的基本原理和位置插值的方法。 🏷️ 标签 RoPE扩展方法 YaRN 大型语言模型 大模型 微调 旋转位置嵌入 阅读原文 生成长图 分享链接 已复制链接
