一文通透DeepSeek-V2(改造Transformer的中文模型)：详解MoE、GRPO、MLA
💡
原文中文，约3600字，阅读约需9分钟。
📝
内容提要
本文介绍了DeepSeek-V2中的MHA创新点，包括MLA降低KV Cache开销，FFN结构改为DeepseekMoE，以及MLA对Query和Key的压缩和RoPE编码。
🎯
关键要点
-
DeepSeek-V2的参数规模为236B，支持128K上下文，使用高质量多源预训练语料库。
-
DeepSeek-V2的主要创新点是Multi-head Latent Attention（MLA），旨在降低KV Cache的开销。
-
KV Cache是推理过程中显存消耗的主要原因，需要优化以减少重复计算。
-
MLA通过低秩联合压缩技术对Key和Value进行压缩，降低推理中的资源开销。
-
MLA的两个部分分别负责对Query和Key进行压缩和RoPE编码。
-
RoPE编码提高了推理效率，避免了对Key进行位置编码的计算。
-
DeepSeek-V2的KV缓存性能优于传统的多头注意力（MHA），但显存占用更低。
❓
延伸问答
DeepSeek-V2的主要创新点是什么？
DeepSeek-V2的主要创新点是Multi-head Latent Attention（MLA），旨在降低KV Cache的开销。
什么是KV Cache，它在DeepSeek-V2中有什么作用？
KV Cache是推理过程中显存消耗的主要原因，DeepSeek-V2通过MLA优化了KV Cache的使用，降低了资源开销。
DeepSeek-V2如何提高推理效率？
DeepSeek-V2通过RoPE编码提高了推理效率，避免了对Key进行位置编码的计算。
DeepSeek-V2的参数规模和上下文支持是多少？
DeepSeek-V2的参数规模为236B，支持128K的上下文。
MLA是如何对Query和Key进行压缩的？
MLA通过低秩联合压缩技术对Key和Value进行压缩，降低推理中的资源开销。
DeepSeek-V2与传统多头注意力（MHA）相比有什么优势？
DeepSeek-V2的KV缓存性能优于传统的多头注意力（MHA），但显存占用更低。
➡️
