InfoQ
·
Pinterest的Moka：Kubernetes如何重塑大数据处理的规则
内容提要
Pinterest推出Moka平台，旨在将数据处理从Hadoop迁移至基于Kubernetes的系统。Moka利用Apache Spark，支持多种处理引擎，提升可扩展性和安全性。团队通过Terraform和Helm实现基础设施代码化，确保平台的可重复使用。Moka被视为现代云原生数据系统的参考架构，强调传统系统迁移的重要性。
关键要点
-
Pinterest推出Moka平台，旨在将数据处理从Hadoop迁移至基于Kubernetes的系统。
-
Moka利用Apache Spark，支持多种处理引擎，提升可扩展性和安全性。
-
团队通过Terraform和Helm实现基础设施代码化，确保平台的可重复使用。
-
Moka被视为现代云原生数据系统的参考架构，强调传统系统迁移的重要性。
-
Moka的设计考虑了可扩展性、安全性、成本和多处理引擎的支持。
-
团队在Kubernetes上大规模运行Spark，增加了日志、指标和作业历史服务。
-
Pinterest致力于在不同硬件架构上运行数据工作负载，包括Intel和ARM架构。
-
Moka被视为灵活的平台，可以根据特定工作负载的需求添加不同的处理引擎。
-
外部观察者认为Moka是现代数据基础设施的参考架构。
-
迁移工作被视为一个持续的旅程，强调从遗留系统中解耦的重要性。
延伸解读
Kubernetes的转变
Pinterest的Moka平台标志着行业对Kubernetes的重新定义，作为数据处理的控制平面，而不仅仅是无状态服务平台。这一转变反映了大数据社区对Kubernetes的日益认可，企业在选择替代Hadoop时，需关注可扩展性、安全性和成本等关键因素。
基础设施代码化的重要性
Moka通过Terraform和Helm实现基础设施代码化，确保平台的可重复使用。这种做法不仅提高了部署效率，还增强了系统的可维护性。对于其他企业来说，学习如何有效管理基础设施代码将是成功迁移的关键。
多处理引擎的灵活性
Moka平台支持多种处理引擎，Pinterest团队强调根据特定工作负载需求添加不同引擎的重要性。这种灵活性使得Moka不仅限于Spark，未来还可能支持Flink等其他技术，适应不断变化的数据处理需求。
迁移过程中的挑战
Pinterest将迁移视为一个持续的旅程，强调从遗留系统中解耦的重要性。尽管技术选择相对简单，但在实际操作中，解决规模化带来的问题和投资于可观察性、自动化及多引擎支持才是更具挑战性的工作。
延伸问答
Moka平台的主要目标是什么？
Moka平台的主要目标是将数据处理从Hadoop迁移至基于Kubernetes的系统。
Moka平台使用了哪些技术来提升可扩展性和安全性？
Moka平台利用Apache Spark，并支持多种处理引擎，以提升可扩展性和安全性。
Pinterest是如何实现基础设施代码化的？
Pinterest通过使用Terraform和Helm来实现基础设施代码化，确保平台的可重复使用。
Moka平台如何支持不同的硬件架构？
Moka平台构建了多架构镜像，使数据工作负载能够在Intel和ARM架构上良好运行。
Moka平台在数据处理引擎方面有哪些灵活性？
Moka被视为一个灵活的平台，可以根据特定工作负载的需求添加不同的处理引擎。
Pinterest在迁移到Moka平台的过程中遇到了哪些挑战？
迁移工作被视为一个持续的旅程，强调从遗留系统中解耦的重要性，且在规模上出现了许多问题。
