NVIDIA Blog
·
Hopper实现新高度，加速主流企业服务器的AI和高性能计算应用
💡
原文英文，约800词，阅读约需3分钟。
📝
内容提要
NVIDIA H200 NVL专为低功耗、空气冷却的企业机架设计，提升了语言模型推理和高性能计算的效率，支持灵活配置，适应多种工作负载。结合NVIDIA NVLink技术，显著提高GPU间通信速度，广泛应用于多个行业。多家企业和高校正在利用H200 NVL加速AI和HPC项目。
🎯
关键要点
- NVIDIA H200 NVL专为低功耗、空气冷却的企业机架设计，提升语言模型推理速度1.7倍，HPC应用性能提升1.3倍。
- NVIDIA Hopper架构改变了AI和高性能计算的格局，提高了性能和能效。
- H200 NVL适合数据中心，支持灵活配置，能够加速各种AI和HPC工作负载。
- 大约70%的企业机架功率在20kW以下，使用空气冷却，PCIe GPU在此环境中至关重要。
- H200 NVL在内存和带宽上相较于H100 NVL分别提升1.5倍和1.2倍，支持更快的推理性能。
- NVIDIA NVLink技术提供GPU间通信速度比第五代PCIe快7倍，满足HPC和大语言模型推理需求。
- H200 NVL配备强大的软件工具，包含五年NVIDIA AI Enterprise订阅，支持AI应用的开发和部署。
- 多家企业和高校正在利用H200 NVL加速AI和HPC项目，包括Dropbox和新墨西哥大学。
- H200 NVL将通过Dell、Hewlett Packard Enterprise、Lenovo等多家合作伙伴提供多种配置。
- NVIDIA还将开发H200 NVL系统的企业参考架构，提供硬件和软件的全栈建议，优化网络性能。
➡️
