【大模型基础设施工程·特别篇】27：DeepSeek-V4 的极致性价比从哪来
内容提要
DeepSeek-V4通过创新技术实现高性价比，采用MoE模型分离总参数与每token成本，结合混合注意力CSA和HCA降低计算需求，引入mHC和Muon优化训练稳定性，利用磁盘缓存减少重复计算成本，最终实现1M上下文的高效推理。
关键要点
-
DeepSeek-V4通过MoE模型将总参数与每token成本分离，提升性价比。
-
DeepSeek-V4-Pro和V4-Flash的总参数分别为1.6T和284B，均支持1M上下文。
-
DeepSeek-V4采用混合注意力CSA和HCA，显著降低计算需求。
-
引入mHC优化残差连接，提高深层网络的稳定性和表达效率。
-
Muon优化器替代AdamW，提升收敛速度和训练稳定性。
-
通过磁盘缓存减少重复计算成本，降低API使用费用。
-
后训练采用On-Policy Distillation，先训练专家再统一蒸馏，提升效率。
-
FP4量化训练在MoE专家权重和CSA索引路径上应用，降低部署成本。
-
Quick Instruction和Interleaved Thinking优化Agent场景中的上下文管理，减少胶水成本。
延伸解读
DeepSeek-V4的技术创新
DeepSeek-V4通过MoE模型和混合注意力技术，显著降低了计算需求和每token的成本。这种创新不仅提升了模型的性价比，还使得1M上下文的推理变得可行，适应了更复杂的应用场景。
训练稳定性的重要性
DeepSeek-V4在训练过程中引入了多种稳定性机制，如mHC和Muon优化器，确保了深层网络的可控性。这些设计不仅提高了训练效率，还降低了因不稳定导致的成本，反映出训练稳定性在大模型开发中的关键作用。
磁盘缓存的经济效益
DeepSeek-V4的磁盘缓存机制有效减少了重复计算的成本，使得API使用费用大幅降低。通过将共享前缀从重复计算转变为廉价读取，模型在长文档处理和多轮对话中展现出更高的经济性。
