ARTHURCHIAO'S BLOG ·

[译] Meta/Facebook 超大规模 AI/GPU 基础设施设计（2024）

💡 原文中文，约3200字，阅读约需8分钟。

📝

内容提要

Meta正在构建两个大规模AI集群，每个集群由24,576张H100 GPU组成，以支持未来的AI任务。这些集群基于之前Research SuperCluster的经验，采用自研硬件和网络架构，优化性能和灵活性。Meta还与Hammerspace合作开发并行网络文件系统，提升调试效率。到2024年底，Meta计划拥有35万张H100 GPU，以满足不断增长的AI需求。

🔎

延伸解读

自研硬件与开放计算

Meta在新集群中采用自研的Grand Teton开放GPU硬件平台，并贡献给OCP。结合Open Rack电源和机架架构，Meta能快速定制集群，满足当前和未来AI应用需求。这种开放设计延续了从Big Sur开始的策略，旨在通过开源协作推动行业创新，同时确保基础设施的灵活性和高效性。

双网络方案对比评估

两个集群分别采用RoCE和NVIDIA Quantum2 InfiniBand网络，均提供400Gbps接入。RoCE集群使用自研Minipack2交换机，而InfiniBand集群使用NVIDIA方案。这种对比使Meta能评估两种技术在大规模训练中的适用性和可扩展性，为未来更大集群的设计积累经验。目前两者都能运行大型生成式AI任务，如Llama 3训练，未遇网络瓶颈。

存储与调试优化

Meta与Hammerspace合作开发并行网络文件系统，使工程师能用数千GPU进行交互式调试，代码改动即时同步。存储基于Tectonic分布式存储和YV3 Sierra Point服务器平台，使用高容量E1.S SSD，平衡性能与能效。此外，Meta开发分布式调试工具如desync debug，以快速识别大规模训练中的问题，提升可调试性。

性能调优与未来规划

Meta通过改进作业调度器使其具备网络拓扑感知能力，并结合NVIDIA NCCL优化路由策略，将大集群性能从初始的10%-90%利用率提升至接近小集群的90%以上。同时，优化PyTorch以支持数万GPU训练，将启动时间从几小时缩短到几分钟。到2024年底，Meta计划拥有35万张H100 GPU，总算力相当于约60万张H100，以应对不断增长的AI需求。

❓

Q&A

Meta正在建设什么样的AI集群？

Meta正在建设两个大规模AI集群，每个集群由24,576张H100 GPU组成。

Meta的AI集群设计基于什么经验？

这些集群基于之前的Research SuperCluster的经验，优化了性能和灵活性。

Meta与哪个公司合作开发了并行网络文件系统？

Meta与Hammerspace合作开发了并行网络文件系统，以提升调试效率。

Meta计划到2024年底拥有多少张H100 GPU？

Meta计划到2024年底拥有35万张H100 GPU。

Meta的AI集群使用了什么样的网络架构？

集群采用400Gbps接入网络，使用RoCE和NVIDIA Quantum2 InfiniBand fabric进行对比评估。

Meta如何优化大规模训练的可调试性？

Meta正在开发分布式调试工具，以识别训练过程中的问题，提升可调试性。

🏷️