DeepSeek-V4模型采用混合压缩注意力（mHC），将KV缓存分为状态缓存和分页缓存，分别管理滑窗KV与压缩条目。上下文并行通过点对点通信和all-gather处理跨rank压缩窗口。磁盘前缀缓存中，压缩条目易存，滑窗KV需重算或周期检查点。mHC通过融合内核、重算和DualPipe优化，将访存开销压至6.7%。