内容提要
Meta在OCP 2026峰会发布多项开放网络创新,包括首款液冷网络机架IcePack和102.4T交换机IceCube(带宽较上代翻倍)、多平面后端架构FPF(降低延迟并支持更大GPU集群)、开源AI传输协议MetaRoCE、联合微软和阿里发起的交换机平台架构OSPA,以及以太网Scale-Up交换机Tahan,旨在推动开放AI基础设施标准化。
延伸解读
液冷网络机架:应对AI集群的散热挑战
随着AI集群迈向吉瓦级规模,网络交换机的功耗和散热成为关键瓶颈。Meta推出的IcePack是首款液冷网络机架,基于OCP ORV3-HPRv1标准,内置IceCube 102.4T交换机刀片。液冷设计能提高热效率,支持高功率密度,为下一代AI数据中心提供必要的散热能力。这一创新表明,开放硬件标准正从计算延伸到网络冷却领域。
FPF多平面架构:降低延迟,扩大GPU集群规模
传统单平面上行架构限制了GPU集群的规模。Meta的Flattened Planar Fabric(FPF)让每个GPU通过八条独立100G链路连接到八个不同交换机,形成多平面后端网络。这种设计将三层Clos架构简化为两层,减少网络跳数和延迟,同时支持更大的非阻塞GPU集群。负载均衡从交换机转移到网卡硬件,控制平面整合交换机和主机,提升容错能力。
跨域扩展:BAG超级脊和SRv6骨干网
单个AI集群可能跨越多个区域,Meta的后端聚合(BAG)层作为基于以太网的超级脊,以拍比特级容量互连多个脊层网络,使Prometheus等集群能跨建筑、园区和区域运行。BAG面临距离带来的缓冲管理挑战,FBOSS通过测量实际线缆长度动态分配缓冲。此外,Meta部署了基于FBOSS的SRv6区域骨干网,实现灵活流量工程,连接地理分散的AI集群。
开放生态:OSPA与MetaRoCE推动标准化
Meta联合微软和阿里发起OSPA倡议,旨在标准化交换机平台层,涵盖电源管理、传感器控制、硬件清单等,减少平台启动的重复工程。同时,Meta开源了MetaRoCE传输协议,为AI集群提供优化的RDMA over Ethernet。这些举措与ESUN、SAI等开放标准协同,降低异构基础设施的管理成本,推动AI网络向开放、可互操作的方向发展。
Q&A
Meta在OCP 2026峰会上发布了哪些网络创新?
Meta发布了首款液冷网络机架IcePack、102.4T交换机IceCube、多平面后端架构FPF、开源AI传输协议MetaRoCE、联合微软和阿里发起的交换机平台架构OSPA,以及以太网Scale-Up交换机Tahan。
IcePack和IceCube是什么?它们有什么特点?
IcePack是Meta首款液冷网络机架,基于OCP ORV3-HPRv1标准;IceCube是102.4Tbps液冷交换机刀片,提供128×800G无阻塞交换容量,有基于Broadcom Tomahawk6C和NVIDIA Spectrum-6 ASIC的两种版本,均运行开源FBOSS网络操作系统。
FPF(Flattened Planar Fabric)是什么?它如何改进GPU集群网络?
FPF是Meta的多平面后端scale-out架构,每个GPU通过8条独立100G链路连接到8个不同交换机(每个网络平面一个)。它取代了传统的单平面上行架构,带来四大优势:支持更大规模的无阻塞GPU集群;从3层Clos简化为2层Clos,减少网络跳数、延迟和成本;NIC级硬件负载均衡,在NIC上喷洒数据包到所有平面;交换机和主机联合控制平面,实现容错,主机可将流量从故障平面转移。
MetaRoCE是什么?它有什么作用?
MetaRoCE是Meta开源的RDMA传输协议,针对以太网上的AI集群网络优化,提供分布式AI训练工作负载所需的拥塞控制和可靠性语义,专为大规模以太网结构中的集合通信流量模式设计。Meta在OCP上宣布了其开源实现。
OSPA是什么?它由哪些公司共同发起?
OSPA(Open Switch Platform Architecture)是OCP下的一个新倡议,由Meta、微软和阿里巴巴共同领导,旨在标准化交换机平台层,包括电源管理、传感器和环境控制、硬件库存管理、带外硬件接口、固件维护和平台故障诊断等。规范v1.0已提交给OCP。
Tahan是什么?它有什么特点?
Tahan是Meta基于以太网的scale-up交换机,专为MTIA 300训练加速器设计。它基于Broadcom 51.2 Tbps Tomahawk 5 ASIC,总容量64x800G,其中一半用于通过背板为加速器提供scale-up连接。四个Tahan交换机以无阻塞拓扑互连16个加速器。它复用与scale-out网络相同的无损RoCE传输,统一了scale-up和scale-out架构。
ESUN是什么?它取得了哪些进展?
ESUN(Ethernet for Scale-Up Networking)是Meta去年在OCP内创立的倡议,与AMD、Arista、ARM、Broadcom、Cisco、HPE、Marvell、微软和NVIDIA合作,推进scale-up拓扑的协议头、无损多跳结构的错误处理机制,以及与UEC和IEEE标准对齐。今年早些时候发布了ESUN 1.0网络运营商需求基础规范,目前正在制定ESUN 1.1,新增交换机配置文件和减少包间间隔等功能。
Meta的BAG(Backend Aggregation)是什么?它解决了什么问题?
BAG是Meta的基于以太网的超级脊(super-spine)后端聚合层,将多个脊层结构互连成一个跨建筑、园区和区域的超级集群,运行在petabit规模。它允许像Prometheus这样的集群即使容量分散在多个建筑中也能作为单一集群运行。BAG使用eBGP链路带宽信令进行负载均衡,并处理长距离链路缓冲管理问题。