量子位
·
国产之光DeepSeek把AI大佬全炸出来了！671B大模型训练只需此前算力1/10，细节全公开
💡
原文中文，约4000字，阅读约需10分钟。
📝
内容提要
DeepSeek V3模型发布，参数量671B，训练成本仅557.6万美元，算力消耗为Llama 3的1/11。性能超越多款顶尖模型，生成速度提升3倍，API价格大幅降低，完全开源，支持FP8和BF16推理，受到广泛关注与测试。
🎯
关键要点
- DeepSeek V3模型发布，参数量671B，训练成本仅557.6万美元。
- 训练消耗算力为Llama 3的1/11，生成速度提升3倍。
- DeepSeek V3完全开源，支持FP8和BF16推理。
- API价格大幅降低，输入tokens价格为0.5元（缓存命中）/ 2元（缓存未命中）。
- 模型在多项测评中超越Llama 3.1和其他顶尖模型。
- 训练过程仅用了不到280万个GPU小时，效率极高。
- DeepSeek V3的预训练阶段在每万亿token上仅需18万GPU小时。
- 引入创新的负载均衡策略和多Token预测目标以提高性能。
- DeepSeek V3的MoE由256个路由专家和1个共享专家组成。
- 团队的专业知识和经验为DeepSeek的成功奠定基础。
❓
延伸问答
DeepSeek V3模型的参数量是多少？
DeepSeek V3模型的参数量为671B。
DeepSeek V3的训练成本是多少？
DeepSeek V3的训练成本为557.6万美元。
DeepSeek V3的算力消耗与Llama 3相比如何？
DeepSeek V3的算力消耗为Llama 3的1/11。
DeepSeek V3的生成速度提升了多少？
DeepSeek V3的生成速度提升了3倍，每秒生成60个tokens。
DeepSeek V3的API价格如何？
DeepSeek V3的API价格为每百万输入tokens 0.5元（缓存命中）/ 2元（缓存未命中）。
DeepSeek V3支持哪些推理格式？
DeepSeek V3支持FP8和BF16推理。
➡️
