推动vLLM WideEP和大规模服务在Blackwell平台上的成熟（第一部分）

vLLM团队在NVIDIA GB200平台上优化性能，实现26.2K预填TPGS和10.1K解码TPGS，较H200提升3-5倍。

通过低精度操作（NVFP4 GEMM、FP8 GEMM、NVFP4 MoE调度）、内核融合和权重卸载等技术，显著提升计算效率和带宽利用率。

GB200的内存带宽和计算能力的提升是性能提升的关键因素。

低精度操作通过量化模型权重和输出层，利用GB200的FP4和FP8操作实现更高的吞吐量。

内核融合策略减少了内存带宽消耗和内核启动开销，通过将多个操作合并为单个GPU内核来实现。

通过减少GPU数量来缩小预填工作负载，降低通信开销，从而提高吞吐量。

权重卸载v2通过异步预取减少GPU内存占用，同时保持性能。

优化的分块策略减少了大批处理中的开销，提高了GPU的利用率。

vLLM团队正在积极进行未来的改进，包括优化专家负载平衡和调度延迟。