Shadow Walker 松烟阁
·
关于DeepSeek我是怎么研究的(4)
💡
原文中文，约8500字，阅读约需21分钟。
📝
内容提要
DeepSeek-V3模型基于Transformer架构，采用MLA和DeepSeekMoE设计，优化了专家划分和负载均衡策略。使用FP8混合精度框架进行训练，提高了效率和性能。DeepSeek的开源特性使中小企业和学术机构能够以低成本使用大模型，推动AI领域发展。
🎯
关键要点
- DeepSeek-V3模型基于Transformer架构，采用MLA和DeepSeekMoE设计。
- 优化了专家划分和负载均衡策略，提高了模型性能。
- 使用FP8混合精度框架进行训练，提升了效率和性能。
- DeepSeek的开源特性使中小企业和学术机构能够以低成本使用大模型。
- DeepSeek-V3引入了无辅助损失的负载平衡策略，避免了辅助损失对模型性能的负面影响。
- MLA通过低秩联合压缩注意力键和值，减少推理过程中的KV缓存。
- DeepSeek MoE采用更细粒度的专家划分和共享专家分离，提高模型的泛化能力和适应性。
- MTP训练目标通过预测多个未来token来增强模型性能，提升训练效率和生成质量。
- DeepSeek-V3在2048个NVIDIA H800 GPU集群上进行训练，采用多种并行策略提高训练效率。
- FP8训练框架通过细粒度的量化策略和高精度累加来提高训练精度，减少内存消耗。
- DeepSeek-V3在14.8万亿个高质量token上进行了预训练，数据涵盖多个领域。
- 后训练阶段包括监督微调和强化学习，通过奖励模型提升模型性能。
- GRPO算法优化了PPO算法的计算效率，降低计算资源消耗。
🏷️
标签
➡️
