/filters:no_upscale()/sponsorship/topic/614695a5-5e4d-4f5f-9c9a-a9d95f85b864/AkkaWebinarMar26-RSB-1771605862949.jpg)
InfoQ
·
在AKS上大规模运行Ray
💡
原文英文，约900词，阅读约需3分钟。
📝
内容提要
微软Azure Kubernetes Service团队发布了Anyscale管理的Ray服务运行指导，解决了GPU容量限制、ML存储分散和凭证过期问题。新版本RayTurbo支持智能自动扩展和故障容错训练，团队通过多集群设置跨区域聚合GPU配额，利用Azure BlobFuse2简化数据传输，并通过新身份验证方法提升安全性。
🎯
关键要点
- 微软Azure Kubernetes Service团队发布了Anyscale管理的Ray服务运行指导。
- 解决了GPU容量限制、ML存储分散和凭证过期问题。
- 新版本RayTurbo支持智能自动扩展、改进监控和故障容错训练功能。
- 通过多集群设置跨区域聚合GPU配额，解决GPU稀缺问题。
- 使用Azure BlobFuse2简化数据传输，支持Ray工作节点间的数据共享。
- 新身份验证方法使用Microsoft Entra服务主体和AKS工作负载身份，自动发放短期令牌。
- Anyscale与Azure的集成目前处于私有预览阶段，团队可申请访问。
- AWS和Google Cloud也在与Anyscale合作，推动Kubernetes与Ray的结合。
- 行业趋势显示，Kubernetes加Ray成为AI工作负载的首选解决方案。
➡️
