内容提要
NVIDIA GTC将展示使用NVIDIA GH200 Grace Hopper Superchips的加速系统,展示的500多台服务器将在18个机架上以多种配置展示。这些系统支持AI、高性能计算和NVIDIA Omniverse应用。GH200 Superchips结合了高性能、高效能的Grace CPU和强大的NVIDIA H100 GPU,具有更高的效率和性能。
延伸解读
MGX 模块化设计加速产品落地
NVIDIA MGX 是一种模块化参考架构,允许厂商灵活组合 GPU、CPU 和 DPU,快速构建适用于 AI、高性能计算和 Omniverse 的加速服务器。这种设计可跨多代产品和工作负载复用,帮助系统制造商缩短开发周期,更快将产品推向市场。
GH200 超级芯片的整合优势
GH200 将高能效的 Grace CPU 与强大的 H100 GPU 通过 NVLink-C2C 高速互连整合,共享数百 GB 内存。这种处理器与内存复合体适合运行大型语言模型,并能通过检索增强生成(RAG)将生成式 AI 模型与数据源连接,提升准确性。
推荐系统性能提升显著
在在线购物或媒体流等推荐任务中,GH200 超级芯片相比传统 CPU 搭配 H100 GPU 的方案,可提供高达 4 倍的性能提升和更高效率。在 11 月的 MLPerf 基准测试首秀中,GH200 系统运行了所有数据中心推理测试,延续了 H100 GPU 的领先表现。
多样化系统与散热方案
GTC 将展示来自 ASRock、ASUS、Foxconn 等多家厂商的 500 多台服务器,涵盖 1U 和 2U 机箱、单/双 GH200 配置,并支持 19 和 21 英寸机架。许多系统提供风冷或液冷选项,以及 E1.S 存储 bays,满足不同部署环境的需求。
Q&A
NVIDIA GTC 2024 上展示了多少台基于 GH200 Grace Hopper Superchip 的服务器?
超过 500 台服务器,分布在 18 个机架中,以多种配置展示。
NVIDIA MGX 是什么?
NVIDIA MGX 是用于构建加速服务器的蓝图,支持任意组合的 GPU、CPU 和 DPU,适用于广泛的 AI、高性能计算和 NVIDIA Omniverse 应用。它是一种模块化参考架构,可跨多代产品和多种工作负载使用。
GH200 Grace Hopper Superchip 由哪些组件组成?
GH200 Superchip 结合了高性能、高能效的 Grace CPU 和强大的 NVIDIA H100 GPU,通过高速 NVIDIA NVLink-C2C 互连共享数百 GB 内存。
GH200 Superchip 在推荐系统任务中的性能提升是多少?
GH200 Superchip 在推荐系统等任务中提供高达 4 倍的性能提升,相比使用 H100 GPU 搭配传统 CPU 的方案。
哪些厂商在 GTC 上展示了 MGX 系统?
包括 ASRock、ASUS、Foxconn、GIGABYTE、Inventec、Lenovo、Pegatron、QCT、Supermicro、Wiwynn 和 Wistron 等多家厂商。
NVIDIA GTC 2024 的举办时间和地点是什么?
GTC 2024 于 3 月 18 日至 21 日在圣荷西会议中心举行,同时提供线上参与。