/filters:no_upscale()/sponsorship/topic/614695a5-5e4d-4f5f-9c9a-a9d95f85b864/AkkaWebinarMar26-RSB-1771605862949.jpg)
InfoQ
·
在AKS上大规模运行Ray
💡
原文英文，约900词，阅读约需3分钟。
📝
内容提要
微软Azure Kubernetes Service团队发布了Anyscale管理的Ray服务运行指导，解决了GPU容量限制、ML存储分散和凭证过期问题。新版本RayTurbo支持智能自动扩展和故障容错训练，团队通过多集群设置跨区域聚合GPU配额，利用Azure BlobFuse2简化数据传输，并通过新身份验证方法提升安全性。
🎯
关键要点
- 微软Azure Kubernetes Service团队发布了Anyscale管理的Ray服务运行指导。
- 解决了GPU容量限制、ML存储分散和凭证过期问题。
- 新版本RayTurbo支持智能自动扩展、改进监控和故障容错训练功能。
- 通过多集群设置跨区域聚合GPU配额，解决GPU稀缺问题。
- 使用Azure BlobFuse2简化数据传输，支持Ray工作节点间的数据共享。
- 新身份验证方法使用Microsoft Entra服务主体和AKS工作负载身份，自动发放短期令牌。
- Anyscale与Azure的集成目前处于私有预览阶段，团队可申请访问。
- AWS和Google Cloud也在与Anyscale合作，推动Kubernetes与Ray的结合。
- 行业趋势显示，Kubernetes加Ray成为AI工作负载的首选解决方案。
❓
延伸问答
RayTurbo的新功能有哪些？
RayTurbo支持智能自动扩展、改进监控和故障容错训练功能。
如何解决GPU稀缺问题？
通过多集群设置跨区域聚合GPU配额，自动重定向工作负载以应对故障或容量问题。
Azure BlobFuse2的作用是什么？
Azure BlobFuse2将Azure Blob存储挂载到Ray工作节点，简化数据传输和共享。
Anyscale与Azure的集成目前处于什么阶段？
Anyscale与Azure的集成目前处于私有预览阶段，团队可以申请访问。
新的身份验证方法有什么优势？
新方法使用短期令牌自动发放，避免了手动轮换过期凭证的风险，提升了安全性。
Kubernetes与Ray结合的行业趋势是什么？
行业趋势显示，Kubernetes加Ray成为AI工作负载的首选解决方案。
➡️
