内容提要
NVIDIA发布Spectrum-6以太网交换系统,专为千兆级AI工厂设计,带宽达102.4Tbps,是前代两倍。CoreWeave、微软等率先采用,提升GPU协同效率。Spectrum-X平台优化流量、故障恢复,性能比普通以太网高1.6倍,支持液冷,降低数据中心成本,加速AI训练与推理。
延伸解读
为什么网络成为AI工厂的瓶颈
文章指出,峰值GPU性能已不再是AI工厂性能的唯一决定因素。大规模训练和推理依赖数千个加速器持续交换数据,集体通信操作会产生密集的东-西向流量。传统以太网为企业和北-南流量设计,难以应对这种同步、集体通信模式。Spectrum-X通过智能交换机和SuperNIC等组件,将以太网改造为高性能扩展结构,确保每个GPU持续获得数据,从而提升整体效率。
Spectrum-6的关键性能提升
Spectrum-6交换系统提供102.4Tbps带宽,是前代的两倍,并支持可插拔和共封装光学器件以及液冷。相比普通以太网,Spectrum-X平台可提供高达1.6倍的AI网络性能,在超过10万GPU的部署中维持高达95%的网络效率。此外,硬件加速的multiplane拓扑可将数据中心所需交换机数量减少1.7倍,进一步优化效率。
早期采用者与生态合作
CoreWeave、微软、Nebius、SpaceXAI和特斯拉等领先AI基础设施构建者将率先采用Spectrum-6。这些公司强调,网络性能对于保持GPU同步、避免单点故障拖慢整个任务至关重要。NVIDIA采用垂直整合、水平开放的方法,支持标准以太网和开放网络操作系统,与云提供商和系统制造商合作,为客户提供完整的AI工厂平台,以缩短训练时间并降低每token成本。
Q&A
NVIDIA Spectrum-6是什么?
NVIDIA Spectrum-6是一款102.4Tbps的以太网交换系统,是NVIDIA Vera Rubin平台的一部分,专为千兆级AI工厂设计,带宽是前代系统的两倍。
Spectrum-6相比前代有哪些提升?
Spectrum-6的带宽达到102.4Tbps,是前代系统的两倍,并且支持液冷,提高了网络功率效率。
哪些公司率先采用Spectrum-6?
CoreWeave、微软、Nebius、SpaceXAI和特斯拉等领先的AI基础设施构建者将率先采用Spectrum-6。
为什么AI性能成为网络问题?
因为大规模AI训练和推理需要数千个加速器持续交换数据,集体通信操作会产生密集的东-西向流量,而传统以太网是为企业应用和北-南流量设计的,无法满足这种同步、集体通信密集的模式。
Spectrum-X以太网相比普通以太网性能提升多少?
Spectrum-X以太网相比普通以太网提供高达1.6倍的AI网络性能,并在超过10万GPU的部署中维持高达95%的网络效率。
Spectrum-X平台如何优化流量和故障恢复?
Spectrum-X平台通过智能平衡流量、快速绕过故障,并在数据未能到达目的地时精确恢复,从而优化流量和故障恢复。
Spectrum-6支持哪些光学和冷却形式?
Spectrum-6支持可插拔和共封装光学形式,并支持液冷,实现整个AI工厂的端到端冷却。
Spectrum-X以太网如何降低数据中心成本?
Spectrum-X硬件加速的多平面拓扑将数据中心所需交换机数量减少1.7倍,并通过Spectrum-X以太网光子学实现5倍功率效率和10倍平均故障间隔时间改善,从而降低成本。