本文详解DeepSeek-V4模型结构：HCA将128个token压缩为一条目，无需稀疏选择；CSA与HCA交错排布，确保全局信息不丢失；滑窗分支弥补压缩导致近token不可见；Q/KV归一化替代QK-Clip；部分RoPE加输出反旋转消除绝对位置；attention sink解决softmax权重分配缺陷；1M上下文KV cache仅5.3GiB，FLOPs约38G。

DeepSeek V4引入CSA和HCA两种压缩注意力机制，以提高大模型处理超长上下文的效率。CSA通过分组压缩和稀疏选择保留更多细节，而HCA则实现极端压缩并对所有条目进行密集注意。两者结合使用，既保留重要信息，又降低计算成本。尽管效率提升显著，处理百万级token仍需高性能硬件，主要面向大规模推理场景。未来可能探索动态压缩率等新方向。

DeepSeek-V4系列模型推出了1.6T和284B参数的两个版本，采用混合注意力架构和流形约束超连接，提升了长上下文处理效率。通过Muon优化器和多项基础设施优化，模型在训练和推理阶段展现出更高的稳定性和效率。预训练后，DeepSeek-V4在多个基准测试中超越前代，设立了新的性能标准。