祈雨的博客
·
spark-operator源码解析
💡
原文中文，约12200字，阅读约需29分钟。
📝
内容提要
Apache Spark的Kubernetes Operator简化了在Kubernetes上运行Spark应用程序的过程，使用自定义资源指定、运行和显示应用程序状态。支持使用volcano作为调度器解决Kubernetes调度器问题。
🎯
关键要点
- Apache Spark的Kubernetes Operator简化了在Kubernetes上运行Spark应用程序的过程。
- 使用Kubernetes自定义资源来指定、运行和显示Spark应用程序的状态。
- 用户通过sparkctl或kubectl创建SparkApplication对象。
- SparkApplication控制器监视对象的创建、更新和删除事件，并采取相应行动。
- 提交运行器负责提交应用程序并创建驱动程序pod，随后创建执行器pod。
- Spark pod监视器监控应用程序的pod状态并更新控制器。
- 代码结构包括控制器、提交运行器、监控器和命令行工具sparkctl。
- 状态机定义了应用程序的不同状态，如新状态、提交状态、运行状态等。
- 提交Spark任务的过程涉及运行spark-submit命令。
- spark-operator支持使用volcano作为调度器以解决Kubernetes调度器的问题。
➡️
