米哈游大数据云原生实践

米哈游数据平台组分享了将大数据架构向云原生化升级的目标、探索和实践，通过Spark on K8s架构获得弹性计算、成本节约和存算分离的价值。他们采用了OSS-HDFS作为底层存储，阿里云容器服务ACK作为计算集群，通过ECI实例实现弹性和降低成本。他们还使用Celeborn解决Spark在K8s上的数据Shuffle问题。未来，他们将继续优化整体架构，实现更细粒度的资源管理和精准的成本控制。