13万节点！Google 如何打破 Kubernetes 的物理极限，构建全球最大集群
内容提要
Google Cloud成功在GKE上运行全球最大Kubernetes集群，节点数达到130,000，超出官方支持上限。此举旨在满足AI时代对算力的需求，采用了一致性缓存、基于Spanner的存储、Kueue调度器和数据访问加速等四项关键技术，展示了Kubernetes的极限扩展能力。
关键要点
-
Google Cloud在GKE上成功运行全球最大Kubernetes集群，节点数达到130,000。
-
此举旨在满足AI时代对算力的需求，超出官方支持上限。
-
推动这一挑战的核心动力是日益庞大的AI工作负载。
-
Google对Kubernetes底层架构进行了四项关键技术创新。
-
一致性缓存优化了读操作，降低了数据库压力。
-
基于Spanner的分布式键值存储替代了etcd，解决了容量和吞吐量瓶颈。
-
Kueue调度器实现了Gang Scheduling，优化了AI训练任务的调度。
-
GCS FUSE与本地化缓存加速了数据访问，降低了数据加载延迟。
-
Google设计了四个阶段的压力测试验证架构的稳定性和性能。
-
此次实验为云原生社区指明了方向，展示了Kubernetes的极限扩展能力。
延伸问答
Google是如何在GKE上实现130,000节点的Kubernetes集群的？
Google通过四项关键技术创新，包括一致性缓存、基于Spanner的存储、Kueue调度器和数据访问加速，实现了130,000节点的Kubernetes集群。
为什么Google需要构建如此大规模的Kubernetes集群？
随着AI工作负载的快速增长，客户对算力的需求急剧增加，传统的集群规模已无法满足这些需求。
Kueue调度器在Google的集群中起到了什么作用？
Kueue调度器实现了Gang Scheduling，确保AI训练任务的所有Pod要么全部启动，要么全部排队，从而避免资源死锁。
Google如何优化Kubernetes集群的读操作？
Google通过引入一致性缓存，允许API Server直接从内存缓存中服务读请求，从而降低了数据库的压力。
基于Spanner的存储系统有什么优势？
基于Spanner的存储系统解决了etcd的容量和吞吐量瓶颈，能够支持高达13,000 QPS的租约更新操作，确保节点健康检查的畅通。
Google的130,000节点集群实验对云原生社区有什么启示？
此次实验展示了Kubernetes的极限扩展能力，为云原生社区指明了方向，证明了合理架构优化可以满足AI时代的算力需求。
