DSA（DeepSeek稀疏注意力）先用轻量索引器为每个query扫描全部历史，选出top-k位置，主注意力只计算这些位置。文章从输出误差界推导出应尽量少丢注意力质量，因此各头共享按平均概率选出的下标；索引器用低维query-key打分加ReLU保留多头响应，并以主注意力概率为教师做KL蒸馏，绕开top-k不可导问题。训练分两阶段：先冻结主模型、稠密热身索引器，再启用稀疏注意力联合训练。主KV缓存仍全量保留，计算与读取减少但容量增加。