深入 Prometheus：Meta 打造千兆瓦级超级集群的历程
内容提要
Meta在俄亥俄州新奥尔巴尼建成千兆瓦级超级集群Prometheus首期，用于训练Muse系列基础模型，最终将扩展至约100万块GPU。集群采用GB200、GB300等多代英伟达平台，通过专用后端以太网实现楼宇间GPU互联。团队将中断率降低99%，预训练有效算力超85%，并采用闭环液冷、智能功耗管理提升效率与可靠性。
延伸解读
有效算力比峰值算力更值得关注
Prometheus 预训练有效算力（goodput）超过 85%，强化学习运行超过 90%，中断间隔从约 4.7 万 GPU 小时提升到 5.4 万 GPU 小时以上。这说明在千兆瓦级集群里，硬件峰值只是上限，真正决定训练进度的是故障恢复、检查点和备用资源能否把中断损失压下去。读者评估类似集群时，应把 goodput 和 MTBI 与 GPU 数量放在一起看。
NVL72 放大带宽，也放大故障半径
从 H100 的 NVL8 升级到 NVL72 后，单个 NVLink 域从 8 块 GPU 扩大到 72 块，故障影响范围增加 9 倍。Meta 的应对是把每个域切成 64 块 GPU 训练、留 8 块作机架内备件，并为整机架故障额外预留约 2% 机架。对 32768 块活跃 GPU 的训练，实际要准备 523 个机架、37656 块 GPU，约高出 13%。这说明大域架构的带宽优势需要配套冗余设计。
网络分层与供电瞬态是规模化的隐形门槛
Prometheus 用专用后端以太网连接楼宇内和跨楼宇 GPU，楼内 fabric 最多互连 20736 块 GPU，聚合网络跨度从 2 公里到 100 公里以上。供电侧，同步训练会造成 30% 至 40% 的功率波动，启动或暂停大任务可在数秒内转移数十兆瓦负载。Meta 用 Dynamo Dimmer 渐进调整 GPU 功率上限，并配合机架电池、电容托盘和设施储能来平滑冲击。这些细节表明，超大规模训练的瓶颈往往在计算芯片之外。
可靠性来自联合归因和舰队级运维
Meta 将中断率从 2025 年中期每 8000 块 GPU 每日近 1000 次降低 99%，靠的是与英伟达共享遥测、联合分诊并按根因归责，以及固件批量部署、NVLink 信号筛查、内存纠错和维修后隔离验证等舰队级流程。单机架升级 P90 时间从 7 小时以上降到 2 小时。对读者的启示是：万卡级集群的稳定性不是单点采购能解决的，而是硬件、固件、网络和运维流程共同迭代的结果。
Q&A
Meta的Prometheus超级集群目前建在哪里？规模有多大？
Prometheus位于美国俄亥俄州新奥尔巴尼的数据中心，首期已完成，目前由数十万块GPU组成，最终将扩展至约100万块GPU。
Prometheus用了哪些GPU平台？各有什么特点？
目前部署了NVIDIA GB200 NVL72（代号Catalina）和GB300 NVL72（代号Clemente），即将引入基于Vera Rubin NVL72的第三代平台。Catalina采用双机架Ariel变体，每GPU 800G scale-out；Clemente单机架72 GPU，HBM容量提升1.5倍，原生800G scale-out，性能比GB200提升5-10%。
Prometheus如何把中断率降低99%？
通过跨职能工程团队对每次中断进行根因分解并针对性解决：NVLink信号完整性方面部署持续遥测和自动标记；内存可靠性方面优化HBM固件、改进LPDDR纠错算法；网络方面毫秒级监控并自动隔离故障；同时建立同地故障分诊团队和归因问责框架。
Prometheus的预训练有效算力（goodput）达到了多少？
预训练运行的goodput超过85%，强化学习（RL）运行的goodput超过90%。
Prometheus的后端网络是如何设计的？
采用专用以太网后端网络（BE）实现GPU间直接通信。楼宇内每个fabrics最多互联20,736块GPU，使用浅缓冲51.2T交换机（如Minipack3/3N）和动态负载均衡；楼宇间通过BAG聚合网络连接，跨度2公里至100公里以上，使用Arista 7800系列深缓冲交换机。
Prometheus如何应对GPU故障？
采用NVL72域内冗余：每个72-GPU域运行64-GPU切片，保留8块备件GPU，故障时备件立即替换，任务从检查点重启；对于更大范围故障，使用并行感知容错（PAFT）让单个副本离线重启，或通过频繁检查点回滚整个任务。此外还预留约2%的额外机架作为备用。
Prometheus在供电和散热方面有哪些创新？
供电方面使用Dynamo Dimmer进行集群级智能功耗封顶，配合机架级电池备份（BBU）、电容托盘（CBU）和设施级储能（BESS）应对30-40%的功率波动。散热方面采用闭环液冷（直接芯片冷却），包括模块化空气辅助液冷（AALC）和设施液冷（FLC），并共享IcePack液冷网络机架设计。
