英伟达Grace Hopper超级芯片横扫MLPerf推理基准测试

NVIDIA在最新的MLPerf基准测试中表现出色，GH200 Grace Hopper超级芯片在所有数据中心推理测试中表现出色，而HGX H100系统在每个MLPerf推理测试中提供了最高的吞吐量。NVIDIA还宣布了TensorRT-LLM，这是一个优化生成AI软件推理的开源库，以及L4 GPU，可在各方面提供出色的性能。NVIDIA的Jetson Orin系统模块在物体检测方面表现出84％的性能提升。MLPerf基准测试透明客观，有70多个组织支持。NVIDIA基准测试中使用的所有软件都可以从MLPerf存储库中获取。