![[译] Meta/Facebook 超大规模 AI/GPU 基础设施设计（2024）](https://arthurchiao.github.io/assets/img/meta-ai-infra/Meta-24K-GenAi-Clusters-hero.webp)
ARTHURCHIAO'S BLOG
·
[译] Meta/Facebook 超大规模 AI/GPU 基础设施设计（2024）
内容提要
Meta正在构建两个大规模AI集群，每个集群由24,576张H100 GPU组成，以支持未来的AI任务。这些集群基于之前Research SuperCluster的经验，采用自研硬件和网络架构，优化性能和灵活性。Meta还与Hammerspace合作开发并行网络文件系统，提升调试效率。到2024年底，Meta计划拥有35万张H100 GPU，以满足不断增长的AI需求。
关键要点
-
Meta正在构建两个大规模AI集群，每个集群由24,576张H100 GPU组成。
-
这两个集群基于之前Research SuperCluster的经验，采用自研硬件和网络架构，优化性能和灵活性。
-
Meta与Hammerspace合作开发并行网络文件系统，提升调试效率。
-
到2024年底，Meta计划拥有35万张H100 GPU，以满足不断增长的AI需求。
-
新集群使用Grand Teton开放GPU硬件平台，结合Open Rack电源和机架架构进行设计。
-
集群采用400Gbps接入网络，使用RoCE和NVIDIA Quantum2 InfiniBand fabric进行对比评估。
-
Meta致力于优化大规模训练的可调试性，正在开发分布式调试工具以识别训练过程中的问题。
-
Meta的AI基础设施建设将继续基于开放科学和协作的哲学，推动AI研究的开放创新。
延伸问答
Meta正在建设什么样的AI集群？
Meta正在建设两个大规模AI集群，每个集群由24,576张H100 GPU组成。
Meta的AI集群设计基于什么经验？
这些集群基于之前的Research SuperCluster的经验，优化了性能和灵活性。
Meta与哪个公司合作开发了并行网络文件系统？
Meta与Hammerspace合作开发了并行网络文件系统，以提升调试效率。
Meta计划到2024年底拥有多少张H100 GPU？
Meta计划到2024年底拥有35万张H100 GPU。
Meta的AI集群使用了什么样的网络架构？
集群采用400Gbps接入网络，使用RoCE和NVIDIA Quantum2 InfiniBand fabric进行对比评估。
Meta如何优化大规模训练的可调试性？
Meta正在开发分布式调试工具，以识别训练过程中的问题，提升可调试性。
