基于 Kubernetes 的企业级大数据平台,EMR on ACK 技术初探

原文约1700字,阅读约需4分钟。发表于:

通过阿里云容器服务 ACK 运行开源大数据任务,将以集群为中心的视角切换成以作业为中心视角,还可以实现在线业务、AI、大数据统一接入 ACK 集群,错峰调度,离线在线混部,提升机器利用率。并且,实现了运维入口、运维工具链、监控体系的三重统一。

云上大数据的 Kubernetes 技术路线,阿里云 EMR 2.0 正式发布,可以部署在阿里云容器服务 ACK 平台,减少对底层集群资源的运维投入,支持Remote Shuffle Service、Spark动态资源、JindoFS、Scheduler Framework V2等,汇量科技在素材平台、热力引擎等业务的大数据平台搭建上,数据同步和及查询效率有数倍提升。

相关推荐 去reddit讨论