内容提要
英伟达Vera Rubin平台在MLPerf基准首秀中表现领先,横扫MLPerf Training v6.1全部基准,每GPU性能最高达GB300 NVL72的两倍;在DeepSeek-V3上从256扩至1024 GPU仍保持约97%扩展效率。其首次MLPerf Endpoints提交在智能体推理中每瓦吞吐量较GB300提升逾10倍。20家合作伙伴参与训练提交,CUDA软件栈持续优化将带来更多收益。
延伸解读
性能提升的实质:每GPU性能翻倍
Vera Rubin NVL72在MLPerf Training v6.1首秀中,每GPU性能最高达到GB300 NVL72的两倍。这意味着在相同GPU数量下,训练任务耗时可能减半,或在相同时间内训练更大模型。但需注意,这是“每GPU”的相对提升,实际系统表现还受网络、软件栈和集群规模影响,且早期结果可能随优化继续变化。
扩展效率97%背后的工程意义
在DeepSeek-V3基准上,Vera Rubin NVL72从256扩展到1024 GPU仍保持约97%的扩展效率,训练时间从16分钟降至约4分钟。高扩展效率说明增加GPU能近乎线性地加速训练,这依赖于NVLink scale-up和Quantum-X800 InfiniBand/Spectrum-X以太网scale-out的协同。对于需要大规模训练的企业,这意味着集群规模扩大时性能损失较小,但实际部署仍需考虑网络拓扑和软件调优。
智能体推理的能效突破与验证状态
在MLPerf Endpoints首秀中,Vera Rubin NVL72在Kimi K3智能体基准上,每瓦吞吐量超过GB300 NVL72的10倍(相同响应速度下)。这对受功耗限制的数据中心意义重大,意味着同等电力可服务更多智能体任务。但需注意,该结果标注为“临时结果”,尚待MLCommons验证和同行评审,最终数值可能调整。此外,对比基于不同并发数和功耗配置,读者应关注验证后的正式数据。
生态与软件栈的持续增益
20家合作伙伴参与了MLPerf Training提交,涵盖云服务商、服务器厂商和高校,表明Vera Rubin平台拥有广泛的生态支持。英伟达强调,通过CUDA软件栈的持续优化,Vera Rubin性能还将提升,这意味着客户当前投资的基础设施有望随时间获得更多价值。但文章未给出具体优化时间表或幅度,读者应理性看待“未来收益”的承诺,关注后续软件更新和独立基准测试。
Q&A
英伟达Vera Rubin在MLPerf首秀中取得了哪些具体成绩?
Vera Rubin在MLPerf Training v6.1中横扫全部基准,是唯一在所有基准上都有结果的平台;每GPU性能最高达GB300 NVL72的两倍。在首次MLPerf Endpoints提交中,其智能体推理的每瓦吞吐量较GB300提升逾10倍。
Vera Rubin在DeepSeek-V3基准上的扩展效率如何?
在DeepSeek-V3基准上,Vera Rubin NVL72从256个GPU扩展到1024个GPU时保持了约97%的扩展效率,训练时间从16分钟缩短到约4分钟。
MLPerf Endpoints测试的是什么?Vera Rubin在其中的表现如何?
MLPerf Endpoints测试系统在真实智能体编码和企业工作流中的表现,并检查智能体能否正确完成任务。Vera Rubin在所有智能体基准中领先,例如在Kimi K3上,其每瓦吞吐量超过GB300 NVL72的10倍(相同响应速度下)。
为什么每瓦吞吐量对智能体推理很重要?
AI智能体完成任务时需多次推理、调用工具和检查,每一步都生成token。由于AI数据中心受功率限制,系统每瓦每秒生成的token越多,能服务的智能体就越多,创造的价值也越大。
有哪些合作伙伴参与了英伟达的MLPerf Training提交?
共有20家组织参与提交,包括ASUS、Azure、Cisco、CoreWeave、Crusoe、Dell Technologies、Firmus、Fujitsu、Giga Computing、Google Cloud、HPE、Inventec、Krai、Lambda、Nebius、Oracle、Quanta Cloud Technology (QCT)、Supermicro、TTA和佛罗里达大学。
Vera Rubin的性能未来还会提升吗?
会。文章指出这些结果只是开始,通过持续优化NVIDIA的CUDA软件栈,Vera Rubin的性能将继续攀升,使客户今天投资的基础设施随时间推移带来更多价值。