量子位
·
DeepSeek下一代技术提前曝光，梁文锋署名论文获ACL2025最佳论文奖
💡
原文中文，约2700字，阅读约需7分钟。
📝
内容提要
DeepSeek的梁文锋团队在ACL 2025获得最佳论文奖，提出了原生稀疏注意力（NSA）机制，处理长文本的速度提升了11倍，性能超越传统模型。NSA通过动态分层策略优化计算，显著提高推理和训练效率，尤其在复杂推理任务中表现突出。
🎯
关键要点
- DeepSeek的梁文锋团队在ACL 2025获得最佳论文奖，提出原生稀疏注意力（NSA）机制。
- NSA机制通过算法与硬件的协同优化，将长文本处理速度提升了11倍，性能超越传统模型。
- NSA可以将上下文长度扩展到1百万tokens，预计将应用于下一代前沿模型中。
- NSA采用动态分层的稀疏策略，通过压缩注意力、选择性注意力和滑动注意力三条分支协同工作。
- NSA在解码、前向传播和反向传播中均展现出显著的速度优势，解码阶段速度提升11.6倍。
- NSA在基准测试中表现优异，特别是在复杂推理任务和长文本处理能力上超越全注意力模型。
- 研究团队通过微调DeepSeek-R1的数学推理数据，证明NSA在准确率上远超全注意力模型。
- ACL 2025评选出四篇最佳论文，涉及大型语言模型的对齐、模型公平性和生成回答的采样机制等主题。
➡️
