Lambda借助NVIDIA Photonics提升AI工厂的韧性与效率

Lambda借助NVIDIA Photonics提升AI工厂的韧性与效率

💡 原文英文,约700词,阅读约需3分钟。
📝

内容提要

Lambda采用NVIDIA Photonics共封装光学(CPO)交换机,连接超1万块GPU的GB300 NVL72机架,以提升AI工厂能效与可靠性。测试显示,网络延迟在机架规模降低约4%、集群规模降低达10%,吞吐与传统可插拔光学相当。CPO能效最高提升5倍、可靠性提升15倍,激光器用量减少4倍;液冷使光学温度中位数降至36°C,光源模块可现场更换,并缩短电信号路径、省去重定时芯片。

🔎

延伸解读

网络中断为何成为大规模训练的瓶颈

文章指出,在大型训练任务中,一条链路中断就可能让数千块GPU停滞;在代理式推理场景下,一次网络中断还会对众多代理产生级联延迟。这说明AI工厂的产出不仅取决于GPU算力,也取决于网络能否持续稳定运行。Lambda用CPO交换机连接超1万块GPU,正是把网络可靠性作为规模化部署的核心指标,而非只关注带宽。

CPO的能效与可靠性提升来自哪里

NVIDIA Photonics用共封装光学引擎替代可插拔光模块,把电光转换移到交换机芯片旁,电信号路径从英寸级缩短到毫米级,并省去重定时芯片,从而减少功耗和信号路径上的部件。文章给出的数据是能效最高提升5倍、可靠性最高提升15倍、激光器用量减少4倍。部件和激光器数量减少,也意味着潜在故障点减少,这与提升平均无中断时间的目标一致。

液冷与可更换光源对运维的实际意义

Lambda的部署中,每台交换机有144个800Gb/s端口,液冷同时带走交换芯片和光学引擎的热量,光学温度中位数降至36°C,而传统可插拔光学为51°C,测试还显示信号完整性更稳定。每台交换机配有18个可现场更换的外部光源模块,技术人员可在现场更换,而传统可插拔光学在激光器故障时需更换整个模块。这降低了运维难度和更换范围。

延迟收益有限,吞吐持平意味着什么

测试显示,CPO交换机使网络延迟在机架规模降低约4%,在集群规模降低达10%,而在机架、可扩展单元和集群配置下,吞吐与传统可插拔光学相同。这说明此次部署的主要价值不在吞吐提升,而在能效、可靠性和延迟的小幅改善。读者应把CPO视为网络基础设施的渐进优化,而非吞吐量的代际跃升,其规模效益需结合具体部署场景评估。

❓

Q&A

Lambda在AI工厂中部署了什么网络技术来连接超过1万块GPU?

Lambda部署了NVIDIA Photonics共封装光学(CPO)交换机,用于连接NVIDIA GB300 NVL72机架,支持超过1万块GPU的AI工厂。

NVIDIA Photonics CPO交换机在延迟和吞吐方面表现如何?

测试显示,网络延迟在机架规模降低约4%,在集群规模降低达10%;吞吐与传统可插拔光学相当。

CPO相比传统可插拔光学在能效和可靠性上有哪些优势?

CPO能效最高提升5倍,可靠性提升15倍,激光器用量减少4倍,从而减少可能故障的组件。

Lambda如何通过液冷和可更换光源模块提高光学系统的可靠性?

液冷使光学温度中位数降至36°C(传统为51°C),信号完整性更稳定;每个交换机有18个可现场更换的外部光源模块,无需更换整个模块。

共封装光学如何缩短电信号路径并减少组件?

共封装将电光转换靠近交换芯片,电信号路径从英寸缩短到毫米,减少信号损失,并省去重定时芯片,降低功耗和信号路径中的部件数量。

为什么网络效率和韧性对AI工厂至关重要?

网络是AI工厂生产力的中心,一个中断的链路可能使数千块GPU停滞,或在代理推理中引发级联延迟;网络消耗的每一瓦特都意味着可用于计算的瓦特减少。

🏷️

标签

➡️

继续阅读