米哈游数据平台组分享了将大数据架构向云原生化升级的目标、探索和实践,通过Spark on K8s架构获得弹性计算、成本节约和存算分离的价值。他们采用了OSS-HDFS作为底层存储,阿里云容器服务ACK作为计算集群,通过ECI实例实现弹性和降低成本。他们还使用Celeborn解决Spark在K8s上的数据Shuffle问题。未来,他们将继续优化整体架构,实现更细粒度的资源管理和精准的成本控制。
完成下面两步后,将自动完成登录并继续当前操作。