NVIDIA Blackwell 在 MLPerf 推理首秀中为生成式 AI 树立新标准
原文英文，约800词，阅读约需3分钟。发表于：。As enterprises race to adopt generative AI and bring new services to market, the demands on data center infrastructure have never been greater. Training large language models is one challenge, but...
NVIDIA的Blackwell GPU在Llama 2 70B上提供了高达4倍的性能，Hopper架构在AI基准测试中取得了进展。Blackwell平台使用了第二代Transformer引擎和FP4张量核心，以提高性能。多GPU计算对于满足大型语言模型（LLMs）的实时延迟要求是必要的。NVIDIA合作伙伴也提交了可靠的MLPerf推理结果。NVIDIA平台，包括Hopper架构、Jetson平台和Triton推理服务器，在性能上取得了显著的提升。Jetson AGX Orin在GPT-J LLM工作负载上实现了吞吐量和延迟的改进。NVIDIA平台在数据中心和边缘展示了多样性和领先的性能。
