NVIDIA Blackwell 在 MLPerf 推理首秀中为生成式 AI 树立新标准
内容提要
NVIDIA的Blackwell GPU在Llama 2 70B上提供了高达4倍的性能，Hopper架构在AI基准测试中取得了进展。Blackwell平台使用了第二代Transformer引擎和FP4张量核心，以提高性能。多GPU计算对于满足大型语言模型（LLMs）的实时延迟要求是必要的。NVIDIA合作伙伴也提交了可靠的MLPerf推理结果。NVIDIA平台，包括Hopper架构、Jetson平台和Triton推理服务器，在性能上取得了显著的提升。Jetson AGX Orin在GPT-J LLM工作负载上实现了吞吐量和延迟的改进。NVIDIA平台在数据中心和边缘展示了多样性和领先的性能。
延伸解读
Blackwell 首秀：性能跃升与架构革新
Blackwell 在 MLPerf 推理 v4.1 中首次亮相，在 Llama 2 70B 上实现了高达 4 倍于 H100 的性能。这一提升得益于第二代 Transformer 引擎和 FP4 张量核心，专为生成式 AI 推理优化。对于企业而言，这意味着未来平台能更高效地处理大语言模型实时服务，但需注意该平台尚未上市，当前 H200 等 Hopper 架构产品仍是主流选择。
MoE 模型兴起与多 GPU 必要性
MLPerf 新增 Mixtral 8x7B 混合专家（MoE）模型基准，其总参数量 46.7 亿，每 token 仅激活 12.9 亿参数。MoE 模型因高效性和多样性受青睐，但满足其实时延迟要求需多 GPU 计算。NVIDIA NVLink 和 NVSwitch 提供高带宽通信，Blackwell 将进一步扩展至 72 GPU 的 NVLink 域，支撑更大规模推理。
软件生态与边缘推理进展
NVIDIA 平台通过持续软件优化，每月带来性能提升。H200 相比上一轮 MLPerf 生成式 AI 推理性能提升高达 27%。Triton 推理服务器实现接近裸金属的性能，降低总拥有成本并缩短部署时间。边缘端 Jetson AGX Orin 在 GPT-J 工作负载上吞吐量提升 6.2 倍，延迟改善 2.4 倍，使生成式 AI 在边缘实时运行成为可能。
合作伙伴生态与可用性
10 家 NVIDIA 合作伙伴（包括华硕、戴尔、HPE、联想、超微等）提交了可靠的 MLPerf 推理结果，表明 NVIDIA 平台广泛可用。H200 GPU 系统已由 CoreWeave 及多家服务器厂商提供。这显示出 NVIDIA 从数据中心到边缘的全面布局，但读者需注意，MLPerf 结果基于特定配置，实际部署性能可能因工作负载和系统调优而异。
Q&A
NVIDIA Blackwell GPU在Llama 2 70B上的性能提升有多大？
NVIDIA Blackwell GPU在Llama 2 70B上提供了高达4倍的性能提升。
多GPU计算在大型语言模型中有什么重要性？
多GPU计算是满足大型语言模型实时延迟要求的必要条件。
NVIDIA Triton推理服务器的主要优势是什么？
Triton推理服务器帮助降低AI模型的总拥有成本，并缩短模型部署时间。
MoE模型为何受到欢迎？
MoE模型因其高效性和多样性而受到欢迎，能够在单一部署中回答多种问题并执行多样任务。
NVIDIA Jetson平台在边缘计算中的表现如何？
NVIDIA Jetson平台在边缘计算中实现了6.2倍的吞吐量提升和2.4倍的延迟改善。
NVIDIA的H200 Tensor Core GPU在基准测试中表现如何？
NVIDIA H200 Tensor Core GPU在所有基准测试中表现出色，尤其是在数据中心类别中。
