NVIDIA Blog
·
最新数据显示，NVIDIA Blackwell Ultra在代理AI应用中提供高达50倍的性能提升和35倍的成本降低
内容提要
微软和Oracle等云服务商正在大规模部署NVIDIA GB300 NVL72系统，以支持低延迟和长上下文的AI应用。NVIDIA Blackwell平台的广泛应用降低了每个token的成本，GB300 NVL72在低延迟和长上下文场景中表现优异，推动了AI编程助手的快速发展。
关键要点
-
微软、CoreWeave和Oracle等云服务商正在大规模部署NVIDIA GB300 NVL72系统，以支持低延迟和长上下文的AI应用。
-
NVIDIA Blackwell平台被广泛采用，降低了每个token的成本，GB300 NVL72在低延迟和长上下文场景中表现优异。
-
AI代理和编程助手的需求激增，软件编程相关的AI查询从11%增长到约50%。
-
NVIDIA GB300 NVL72系统在每兆瓦的吞吐量上提高了50倍，成本降低了35倍。
-
NVIDIA的极端协同设计通过芯片、系统架构和软件创新，加速了AI工作负载的性能。
-
GB300 NVL72在低延迟工作负载中提供了超过10倍的每瓦token数量，成本显著降低。
-
NVIDIA TensorRT-LLM等团队的持续优化显著提升了Blackwell NVL72的吞吐量。
-
GB300 NVL72在长上下文场景中表现优越，成本比GB200 NVL72低1.5倍。
-
领先的云服务商和AI创新者已经在生产中部署GB300 NVL72，以支持实时推理。
-
NVIDIA Rubin平台将带来下一代性能，MoE推理的吞吐量提高10倍，成本降低至每百万token的十分之一。
延伸解读
AI应用的成本效益
NVIDIA GB300 NVL72系统在降低AI应用成本方面表现突出，尤其是在低延迟和长上下文场景中。通过将每个token的成本降低35倍，云服务商能够以更低的费用支持更复杂的AI应用，这将推动更多企业采用AI技术，提升其业务效率。
长上下文场景的优势
GB300 NVL72在处理长上下文任务时表现优越，能够以1.5倍的成本优势处理128,000-token输入。这种能力使得AI编程助手能够更好地理解和处理复杂代码，提升了其在软件开发中的实用性，尤其是在多步骤工作流中。
未来技术的展望
随着NVIDIA Rubin平台的推出，预计将带来更大的性能提升和成本降低。新一代的MoE推理能力将使得AI模型训练更加高效，企业在未来将能够以更少的资源实现更强大的AI应用，这为行业发展提供了新的动力。
延伸问答
NVIDIA GB300 NVL72系统的主要优势是什么？
NVIDIA GB300 NVL72系统在低延迟和长上下文场景中提供高达50倍的吞吐量提升和35倍的成本降低。
哪些云服务商正在部署NVIDIA的系统？
微软、CoreWeave和Oracle等云服务商正在大规模部署NVIDIA GB300 NVL72系统。
NVIDIA Blackwell平台如何降低每个token的成本？
NVIDIA Blackwell平台通过极端协同设计和软件优化，降低了每个token的成本，最高可达10倍。
AI代理和编程助手的需求增长了多少？
AI代理和编程助手的需求激增，软件编程相关的AI查询从11%增长到约50%。
GB300 NVL72在长上下文场景中的表现如何？
GB300 NVL72在长上下文场景中表现优越，成本比GB200 NVL72低1.5倍。
NVIDIA Rubin平台的预期性能提升是什么？
NVIDIA Rubin平台预计在MoE推理中提供高达10倍的吞吐量提升，并将成本降低至每百万token的十分之一。
