DeepSeek团队提出的Native Sparse Attention（NSA）通过动态分层稀疏策略，优化了长序列的计算效率。NSA结合压缩、选择和滑动窗口注意力机制，显著提升了64k序列下的推理和训练速度，实现了11.6倍的解码加速，并首次实现了可训练的稀疏注意力架构，确保了训练的稳定性和性能提升，为大语言模型应用提供了新思路。