💡
原文中文，约6000字，阅读约需15分钟。
📝
内容提要
DeepSeek 发布了一种名为 NSA 的稀疏注意力机制，旨在提高长上下文的训练和推理效率。该机制通过硬件对齐和可训练设计，显著降低计算开销，同时保持性能。实验结果表明，NSA 在多个基准测试中表现优异，尤其在长上下文任务中展现出卓越的能力和加速效果。
🎯
关键要点
- DeepSeek 发布了一种名为 NSA 的稀疏注意力机制，旨在提高长上下文的训练和推理效率。
- NSA 通过硬件对齐和可训练设计，显著降低计算开销，同时保持性能。
- 长上下文建模是大型语言模型的关键能力，普通注意力机制在长序列中存在高复杂性和延迟瓶颈。
- NSA 通过选择性计算关键 query-key 对，利用 softmax 注意力的固有稀疏性，减少计算开销。
- NSA 解决了硬件对齐的推理加速和训练感知的算法设计两个关键挑战。
- NSA 采用分层 token 建模，通过时间块组织键和值，减少每查询计算量。
- NSA 在多个基准测试中表现优异，尤其在长上下文任务中展现出卓越的能力和加速效果。
- NSA 在解码、前向和后向阶段提供了明显的加速，且加速比随着序列长度的增加而增加。
- NSA 的设计能够高效捕捉长距离逻辑依赖关系，支持复杂推理任务。
- 在 64k 上下文长度下，NSA 实现了 9.0 倍的前向加速和 6.0 倍的反向加速，解码速度也显著提高。
➡️
