一文通透DeepSeek-V2(改造Transformer的中文模型)：详解MoE、GRPO、MLA
原文中文，约3600字，阅读约需9分钟。
📝
内容提要
本文介绍了DeepSeek-V2中的MHA创新点，包括MLA降低KV Cache开销，FFN结构改为DeepseekMoE，以及MLA对Query和Key的压缩和RoPE编码。
🔎
延伸解读
MLA如何降低KV Cache开销
MLA通过低秩联合压缩技术，将Key和Value压缩为低维隐向量，推理时只需缓存压缩后的隐向量，再通过升维矩阵还原。这显著减少了KV Cache的显存占用，同时避免了MQA等方法的性能损失。
解耦RoPE编码的设计
由于压缩后的低秩表示直接应用RoPE不等价于在完整Q/K上应用，DeepSeek-V2采用解耦策略，引入额外的查询和共享键来携带位置信息，将信息存储与旋转编码分离，确保位置编码的有效性。
MLA与GQA的性能对比
DeepSeek-V2中，MLA的KV缓存仅相当于2.25组GQA，但性能强于MHA。这表明MLA在大幅降低显存占用的同时，保持了优于传统多头注意力的模型表现。
❓
Q&A
DeepSeek-V2的主要创新点是什么？
DeepSeek-V2的主要创新点是Multi-head Latent Attention（MLA），旨在降低KV Cache的开销。
什么是KV Cache，它在DeepSeek-V2中有什么作用？
KV Cache是推理过程中显存消耗的主要原因，DeepSeek-V2通过MLA优化了KV Cache的使用，降低了资源开销。
DeepSeek-V2如何提高推理效率？
DeepSeek-V2通过RoPE编码提高了推理效率，避免了对Key进行位置编码的计算。
DeepSeek-V2的参数规模和上下文支持是多少？
DeepSeek-V2的参数规模为236B，支持128K的上下文。
MLA是如何对Query和Key进行压缩的？
MLA通过低秩联合压缩技术对Key和Value进行压缩，降低推理中的资源开销。
DeepSeek-V2与传统多头注意力（MHA）相比有什么优势？
DeepSeek-V2的KV缓存性能优于传统的多头注意力（MHA），但显存占用更低。
🏷️
