Thoughtworks洞见
·
对比Spark on Kubernetes和YARN Spark
💡
原文中文，约4600字，阅读约需11分钟。
📝
内容提要
Spark3.3.1开始支持Kubernetes资源管理方式，解耦合本地HDFS集群，更灵活、易扩展、成本更低。但若有大量本地数据或其他Hadoop应用需求，建议维持YARN部署方式。
🎯
关键要点
- Spark 3.3.1开始支持Kubernetes资源管理，解耦合本地HDFS集群。
- Kubernetes提供更灵活、易扩展和成本更低的资源管理方式。
- 传统的YARN部署方式需要大量配置和维护，且面临资源浪费问题。
- Spark on Kubernetes的部署方法自Spark 2.3版本引入，已具备生产环境使用条件。
- Kubernetes支持动态资源管理，能够根据需求自动扩展和释放资源。
- Kubernetes的环境隔离特性使得不同版本的Spark可以共存，简化了升级过程。
- Kubernetes的日志管理需要额外配置，日志存储在不同的pod中，需使用kubectl命令查看。
- Spark on Kubernetes与YARN在性能上差异微小，但Kubernetes在成本控制上具有明显优势。
- 建议在云端或混合部署需求下使用Spark on Kubernetes，而在大量本地数据需求下维持YARN部署方式。
➡️
