ARTHURCHIAO'S BLOG
·
GPU 进阶笔记（四）：NVIDIA GH200 芯片、服务器及集群组网（2024）
内容提要
本文介绍了NVIDIA GH200芯片、服务器及集群组网。GH200芯片集成了NVIDIA Grace CPU、NVIDIA H200 GPU，具有高内存和显存容量。GH200服务器有两种规格，适合不同的板卡连接方式。NVL32模块适用于超大规模AI工作负载。
关键要点
-
NVIDIA GH200芯片集成了Grace CPU和H200 GPU，具有高内存和显存容量。
-
GH200服务器有两种规格，适合不同的板卡连接方式。
-
NVL32模块适用于超大规模AI工作负载。
-
传统GPU服务器使用Intel/AMD x86 CPU与NVIDIA GPU独立连接。
-
新一代GPU服务器采用NVIDIA CPU与NVIDIA GPU集成设计。
-
GH200芯片逻辑图显示CPU、GPU、RAM和VRAM集成在单颗芯片中。
-
GH200芯片支持最大480GB内存和96GB或144GB显存。
-
GH200 NVL2变种通过全连接两颗GH200芯片实现更高的计算能力。
-
NVIDIA MGX与GH200服务器适合中小规模AI工作负载。
-
NVIDIA GH200 NVL32通过NVLink连接32个GH200芯片，适合超大规模AI工作负载。
延伸问答
NVIDIA GH200芯片的主要组成部分是什么？
NVIDIA GH200芯片集成了Grace CPU和H200 GPU，支持最大480GB内存和96GB或144GB显存。
GH200服务器有哪些规格？
GH200服务器有两种规格，分别适用于PCIe板卡和NVLINK板卡连接方式。
GH200 NVL32模块适合什么类型的工作负载？
GH200 NVL32模块适合超大规模AI工作负载。
GH200芯片的内存和显存有什么特点？
GH200芯片支持高达480GB的内存和96GB或144GB的显存，且内存和显存可以统一访问。
传统GPU服务器与新一代GPU服务器有什么区别？
传统GPU服务器使用Intel/AMD x86 CPU与NVIDIA GPU独立连接，而新一代GPU服务器采用NVIDIA CPU与NVIDIA GPU集成设计。
GH200芯片的互连技术是什么？
GH200芯片通过NVLink® Chip-2-Chip技术实现CPU和GPU之间的高速互连，带宽可达900 GB/s。
