DeepSeek V4引入CSA和HCA两种压缩注意力机制，以提高大模型处理超长上下文的效率。CSA通过分组压缩和稀疏选择保留更多细节，而HCA则实现极端压缩并对所有条目进行密集注意。两者结合使用，既保留重要信息，又降低计算成本。尽管效率提升显著，处理百万级token仍需高性能硬件，主要面向大规模推理场景。未来可能探索动态压缩率等新方向。