GPU 进阶笔记（四）：NVIDIA GH200 芯片、服务器及集群组网（2024）
内容提要
本文介绍了NVIDIA GH200芯片、服务器及集群组网。GH200芯片集成了NVIDIA Grace CPU、NVIDIA H200 GPU，具有高内存和显存容量。GH200服务器有两种规格，适合不同的板卡连接方式。NVL32模块适用于超大规模AI工作负载。
延伸解读
从x86到ARM：服务器架构的转变
传统GPU服务器以Intel/AMD x86 CPU为底座，GPU通过PCIe连接。GH200将NVIDIA Grace ARM CPU与H200 GPU集成，标志着服务器架构从x86向ARM的转变。这种集成设计可能影响服务器厂商的组装模式，并改变CPU与GPU的协作方式。
内存与显存一致性：NVLink-C2C的作用
GH200通过NVLink-C2C实现CPU和GPU之间的内存一致性，提供高达900GB/s的互连带宽，远高于PCIe Gen5 x16。这使得CPU和GPU可以透明地访问彼此的内存，显存不足时可使用CPU内存，简化了编程模型，但可能增加对NVIDIA生态的依赖。
GH200服务器形态：MGX与NVL32的适用场景
GH200服务器有两种规格：MGX with GH200适合中小规模AI和HPC工作负载，每节点单芯片，通过主机网络通信；NVL32通过NVLink全连接32个GH200芯片，提供19.5TB内存+显存，适合超大规模AI工作负载。用户需根据工作负载规模选择。
内存类型对比：LPDDR5X的优势与局限
GH200采用LPDDR5X内存，与DDR5相比带宽高53%，功耗低1/8，但不可插拔扩展，成本更高。这种设计在提升性能的同时牺牲了灵活性，适合对带宽和功耗敏感的场景，但可能不适合需要大容量可扩展内存的应用。
Q&A
NVIDIA GH200芯片的主要组成部分是什么？
NVIDIA GH200芯片集成了Grace CPU和H200 GPU，支持最大480GB内存和96GB或144GB显存。
GH200服务器有哪些规格？
GH200服务器有两种规格，分别适用于PCIe板卡和NVLINK板卡连接方式。
GH200 NVL32模块适合什么类型的工作负载？
GH200 NVL32模块适合超大规模AI工作负载。
GH200芯片的内存和显存有什么特点？
GH200芯片支持高达480GB的内存和96GB或144GB的显存，且内存和显存可以统一访问。
传统GPU服务器与新一代GPU服务器有什么区别？
传统GPU服务器使用Intel/AMD x86 CPU与NVIDIA GPU独立连接，而新一代GPU服务器采用NVIDIA CPU与NVIDIA GPU集成设计。
GH200芯片的互连技术是什么？
GH200芯片通过NVLink® Chip-2-Chip技术实现CPU和GPU之间的高速互连，带宽可达900 GB/s。
