亚马逊宣布为基础模型开发的Amazon SageMaker HyperPod引入了对Amazon Elastic Kubernetes Service（EKS）的支持，使客户能够使用EKS来编排HyperPod集群。HyperPod有助于高效扩展到一千多个AI加速器上，将训练时间减少多达40%。增强的可观测性覆盖了整个集群的资源利用情况，有助于高效完成故障排除和优化。Amazon SageMaker HyperPod成为AI初创企业和希望高效训练及部署大规模模型的企业的首选解决方案。

本文介绍了Amazon Elastic Kubernetes Service（EKS）的测试背景和测试环境，包括集群托管节点组故障转移时间和扩容时间的实验。测试结果显示，集群托管节点组故障转移时间与实例机型和工作负载相关性较小。在扩容方面，使用Karpenter的扩容时间比Cluster Autoscaler少24%-29%，因此推荐使用Karpenter作为Amazon EKS的扩容组件。