💡
原文中文，约3300字，阅读约需8分钟。
📝
内容提要
DeepSeek-V3/R1通过跨节点专家并行优化吞吐量和延迟，提高GPU计算效率。采用双批次重叠策略降低通信开销，实现负载均衡。服务统计显示，H800节点的输入输出性能良好，成本利润率达到545%。
🎯
关键要点
- DeepSeek-V3/R1通过跨节点专家并行优化吞吐量和延迟，提高GPU计算效率。
- 采用双批次重叠策略降低通信开销，实现负载均衡。
- H800节点的输入输出性能良好，每秒输入73.7k token，输出14.8k token。
- 成本利润率达到545%。
- 系统设计目标是更高的吞吐量和更低的时延。
- 跨节点的Expert Parallelism（EP）策略显著提升了GPU矩阵计算效率。
- EP引入跨节点通信，需在计算流程中设计计算与通信重叠。
- 大规模跨节点EP需要极大规模的整体批量以保证单个专家的批量规模充足。
- 预填充和解码阶段使用不同的并行度以优化性能。
- 双批次重叠策略通过交替执行微批来隐藏通信开销。
- 实现最佳负载均衡以最大化资源使用率，避免性能瓶颈。
- DeepSeek在线推理服务基于H800 GPU，使用与训练一致的精度。
- 在高峰期部署推理服务，夜间减少节点数量以节省资源。
- 过去24小时内，V3和R1推理服务最高占用278个节点，平均占用226.75个节点。
- 每日理论收入为562,027美元，实际收入低于此估算，原因包括定价低和部分服务免费。
❓
延伸问答
DeepSeek-V3/R1如何提高GPU计算效率？
DeepSeek-V3/R1通过跨节点专家并行优化吞吐量和延迟，提高GPU计算效率。
什么是双批次重叠策略，它的作用是什么？
双批次重叠策略通过交替执行微批来隐藏通信开销，从而降低通信对性能的影响。
H800节点的性能表现如何？
H800节点的输入输出性能良好，每秒输入73.7k token，输出14.8k token。
DeepSeek-V3/R1的成本利润率是多少？
DeepSeek-V3/R1的成本利润率达到545%。
系统设计的主要目标是什么？
系统设计的主要目标是实现更高的吞吐量和更低的时延。
如何实现最佳负载均衡？
通过预填充负载均衡器、解码负载均衡器和专家并行负载均衡器来实现最佳负载均衡。
➡️
