vLLM Blog
·
推动vLLM WideEP和大规模服务在Blackwell平台上的成熟（第一部分）
💡
原文英文，约1800词，阅读约需7分钟。
📝
内容提要
vLLM团队在NVIDIA GB200平台上优化性能，实现26.2K预填TPGS和10.1K解码TPGS，较H200提升3-5倍。通过低精度操作、内核融合和权重卸载等技术，显著提升计算效率和带宽利用率。
🎯
关键要点
- vLLM团队在NVIDIA GB200平台上优化性能，实现26.2K预填TPGS和10.1K解码TPGS，较H200提升3-5倍。
- 通过低精度操作（NVFP4 GEMM、FP8 GEMM、NVFP4 MoE调度）、内核融合和权重卸载等技术，显著提升计算效率和带宽利用率。
- GB200的内存带宽和计算能力的提升是性能提升的关键因素。
- 低精度操作通过量化模型权重和输出层，利用GB200的FP4和FP8操作实现更高的吞吐量。
- 内核融合策略减少了内存带宽消耗和内核启动开销，通过将多个操作合并为单个GPU内核来实现。
- 通过减少GPU数量来缩小预填工作负载，降低通信开销，从而提高吞吐量。
- 权重卸载v2通过异步预取减少GPU内存占用，同时保持性能。
- 优化的分块策略减少了大批处理中的开销，提高了GPU的利用率。
- vLLM团队正在积极进行未来的改进，包括优化专家负载平衡和调度延迟。
➡️
