NVIDIA Blog
·
巅峰训练：Blackwell 提供下一水平的 MLPerf 训练性能
内容提要
NVIDIA Blackwell在MLPerf测试中表现优异，AI应用训练性能提升，尤其在大语言模型基准上，GPU性能提高2.2倍。新架构优化了Tensor Cores的使用，实现了更少GPU下的更高性能。Hopper平台持续保持记录，显示出NVIDIA在加速计算平台上的优化及合作伙伴支持。
关键要点
-
NVIDIA Blackwell在MLPerf测试中表现优异，AI应用训练性能提升。
-
在大语言模型基准上，GPU性能提高2.2倍，包括Llama 2 70B微调和GPT-3 175B预训练。
-
Hopper平台在所有基准测试中持续保持记录，显示出NVIDIA在加速计算平台上的优化。
-
Blackwell架构通过新内核更有效地利用Tensor Cores，提高了每个GPU的计算吞吐量。
-
使用更大、更快的HBM3e内存，64个Blackwell GPU能够在不影响每个GPU性能的情况下运行GPT-3基准。
-
Blackwell在MLPerf推理测试中表现出色，提供了比Hopper一代高出4倍的LLM推理性能。
-
NVIDIA平台持续进行软件开发，提升训练和推理性能。
-
Hopper在GPT-3 175B基准测试中实现了1.3倍的每GPU训练性能提升。
-
NVIDIA与多家合作伙伴共同提交了令人印象深刻的MLPerf测试结果。
-
NVIDIA认为行业标准基准在AI计算中的作用至关重要，帮助公司跟上最新的AI计算创新。
延伸解读
Blackwell架构的优势
NVIDIA Blackwell架构通过优化Tensor Cores的使用，显著提高了每个GPU的计算吞吐量。这意味着在相同的硬件条件下，Blackwell能够提供更高的性能，尤其是在处理大型语言模型时，减少了所需的GPU数量，降低了整体成本和能耗。
Hopper与Blackwell的比较
尽管Hopper平台在过去的基准测试中表现出色，但Blackwell在最新的MLPerf测试中显示出更强的推理性能，达到Hopper的4倍。这一进步表明，NVIDIA在架构设计和软件优化方面的持续努力，可能会影响未来AI应用的开发和部署。
行业标准的重要性
NVIDIA强调行业标准基准在AI计算中的关键作用。通过参与MLPerf测试，企业能够获得经过同行评审的性能数据，帮助他们在快速发展的AI领域中做出明智的投资决策。这种透明度对于推动技术进步和市场竞争至关重要。
延伸问答
NVIDIA Blackwell在MLPerf测试中的表现如何？
NVIDIA Blackwell在MLPerf测试中表现优异，尤其在大语言模型基准上，GPU性能提高了2.2倍。
Blackwell架构如何优化Tensor Cores的使用？
Blackwell架构通过新内核更有效地利用Tensor Cores，提高了每个GPU的计算吞吐量。
使用Blackwell GPU运行GPT-3基准需要多少个GPU？
使用64个Blackwell GPU可以运行GPT-3基准，而使用Hopper则需要256个GPU。
NVIDIA Hopper在GPT-3基准测试中的表现如何？
Hopper在GPT-3 175B基准测试中实现了1.3倍的每GPU训练性能提升。
NVIDIA与哪些合作伙伴共同提交了MLPerf测试结果？
NVIDIA与ASUSTek、Azure、Cisco、Dell等多家合作伙伴共同提交了MLPerf测试结果。
NVIDIA如何持续优化其加速计算平台？
NVIDIA通过持续的软件开发，提升训练和推理性能，推动MLPerf测试结果的改进。
