蓝点网
·
英伟达宣布推出HGX H200人工智能加速卡 推理速度较H100翻倍
💡
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
英伟达推出了基于Hopper架构的NVIDIA HGX H200 GPU，采用HBM3e内存，带宽4.8TB每秒。与H100相比，HGX H200在Llama 2上的推理速度提高了一倍。适用于各种数据中心，并可通过AWS、Google Cloud、Microsoft Azure和Oracle Cloud进行部署。NVIDIA GH200 Grace Hopper超级芯片可与HGX H200 GPU结合使用，用于超算和AI计算。
🎯
关键要点
- 英伟达推出基于Hopper架构的NVIDIA HGX H200 GPU，采用HBM3e内存，带宽4.8TB每秒。
- HGX H200在Llama 2上的推理速度相比H100提高了一倍。
- HGX H200提供141GB内存，适合更多参数的LLM需求。
- HGX H200支持4路和8路配置，与H100系统兼容，适用于各种数据中心。
- HGX H200可通过AWS、Google Cloud、Microsoft Azure和Oracle Cloud进行部署，预计2024年第二季度上市。
- NVIDIA GH200 Grace Hopper超级芯片可与HGX H200 GPU结合，专为超算设计。
- GH200用于全球40多台人工智能超算，包括HPE的Cray EX2500和德国的JUPITER超算。
- JUPITER超算将在2024年完成部署，采用液冷架构，使用24000个GH200。
- JUPITER超算将用于气候和天气预测、药物研发、量子计算和工业工程领域。
- HGX H200的主要参数包括FP64 34 TFLOPS，GPU内存141GB，带宽4.8TB/s等。
➡️
