NVIDIA Hopper在MLPerf生成式AI中领先

NVIDIA使用TensorRT-LLM软件将Hopper GPU在GPT-J LLM上的性能提升了近3倍。H200 GPU在MLPerf的最大生成AI测试中提供了最快的推理性能。NVIDIA还推出了具有更多内存的H200 GPU和GH200 Superchips。NVIDIA的Hopper GPU在MLPerf的每个AI推理测试中表现出色。NVIDIA展示了结构稀疏性、修剪和DeepCache等创新技术。MLPerf基准测试是透明客观的。