本文介绍DeepSeek-V4的注意力机制，从MHA到CSA/HCA的演进，重点分析压缩KV缓存的方法。V4将每4或128个token压缩为一条512维KV向量，采用重叠窗口和逐通道softmax加权，K与V共享单头，配合分组输出投影降低参数。相比前代，V4首次压缩缓存条目数，以支持1M上下文的高效推理。