The Cloudflare Blog
·
我们如何使用OpenBMC支持全球GPU上的AI推理
💡
原文英文，约1800词，阅读约需7分钟。
📝
内容提要
Cloudflare宣布推出Workers AI，允许开发人员在Cloudflare的网络上运行无服务器GPU加速的AI推理。他们使用开源固件堆栈OpenBMC来管理基板管理控制器（BMCs）并调整固件以适应新的GPU。他们通过细调风扇PID控制器来管理温度波动和功耗。他们还通过SMBus协议与GPU建立通信。OpenBMC的应用和配置使设备的配置和操作变得简单。Cloudflare利用OpenBMC来获得对服务器配置的控制和灵活性。他们强调了开源固件对于修改服务器固件而不受传统设备更新周期限制的重要性。
🎯
关键要点
-
Cloudflare推出Workers AI，允许开发人员在其全球网络上运行无服务器GPU加速的AI推理。
-
Cloudflare使用OpenBMC开源固件堆栈来管理基板管理控制器（BMCs），以实现对服务器配置的控制和灵活性。
-
OpenBMC使Cloudflare能够调整BMC固件以适应新GPU，同时保持热管理和功耗的效率。
-
通过调整风扇PID控制器，Cloudflare成功将GPU的温度从95˚C降低到65˚C。
-
Cloudflare使用SMBus协议与GPU建立通信，以获取温度数据进行PID调优。
-
OpenBMC的应用和配置简化了设备的配置和操作，使得开发过程更加高效。
-
Cloudflare强调开源固件的重要性，能够在不受传统设备更新周期限制的情况下修改服务器固件。
🏷️
标签
➡️
