/filters:no_upscale()/sponsorship/topic/614695a5-5e4d-4f5f-9c9a-a9d95f85b864/AkkaWebinarMar26-RSB-1771605862949.jpg)
InfoQ
·
在AKS上大规模运行Ray
内容提要
微软Azure Kubernetes Service团队发布了Anyscale管理的Ray服务运行指导，解决了GPU容量限制、ML存储分散和凭证过期问题。新版本RayTurbo支持智能自动扩展和故障容错训练，团队通过多集群设置跨区域聚合GPU配额，利用Azure BlobFuse2简化数据传输，并通过新身份验证方法提升安全性。
关键要点
-
微软Azure Kubernetes Service团队发布了Anyscale管理的Ray服务运行指导。
-
解决了GPU容量限制、ML存储分散和凭证过期问题。
-
新版本RayTurbo支持智能自动扩展、改进监控和故障容错训练功能。
-
通过多集群设置跨区域聚合GPU配额，解决GPU稀缺问题。
-
使用Azure BlobFuse2简化数据传输，支持Ray工作节点间的数据共享。
-
新身份验证方法使用Microsoft Entra服务主体和AKS工作负载身份，自动发放短期令牌。
-
Anyscale与Azure的集成目前处于私有预览阶段，团队可申请访问。
-
AWS和Google Cloud也在与Anyscale合作，推动Kubernetes与Ray的结合。
-
行业趋势显示，Kubernetes加Ray成为AI工作负载的首选解决方案。
延伸解读
GPU资源管理的挑战与解决方案
在大规模机器学习中，GPU资源的稀缺性是一个主要挑战。微软提出的多集群、多区域设置可以有效聚合GPU配额，帮助团队在不同区域之间分配工作负载。这种方法不仅提高了资源利用率，还能在出现故障时自动重定向任务，确保训练过程的连续性。
数据传输的简化与效率提升
使用Azure BlobFuse2可以显著简化Ray工作节点间的数据传输。通过将Azure Blob存储挂载为POSIX兼容的文件系统，Ray集群能够更高效地读取和写入数据。这种解耦的数据管理方式使得Ray集群在扩展时不会丢失数据，提升了整体的训练效率。
身份验证的安全性与便利性
新引入的身份验证方法通过Microsoft Entra服务主体和AKS工作负载身份，自动发放短期令牌，避免了传统API密钥的过期问题。这种方式不仅提高了安全性，还减少了多集群环境中手动管理凭证的复杂性，降低了操作负担。
延伸问答
RayTurbo的新功能有哪些？
RayTurbo支持智能自动扩展、改进监控和故障容错训练功能。
如何解决GPU稀缺问题？
通过多集群设置跨区域聚合GPU配额，自动重定向工作负载以应对故障或容量问题。
Azure BlobFuse2的作用是什么？
Azure BlobFuse2将Azure Blob存储挂载到Ray工作节点，简化数据传输和共享。
Anyscale与Azure的集成目前处于什么阶段？
Anyscale与Azure的集成目前处于私有预览阶段，团队可以申请访问。
新的身份验证方法有什么优势？
新方法使用短期令牌自动发放，避免了手动轮换过期凭证的风险，提升了安全性。
Kubernetes与Ray结合的行业趋势是什么？
行业趋势显示，Kubernetes加Ray成为AI工作负载的首选解决方案。
