亚马逊AWS官方博客
·
基于开源工具构建 EMR 数据分析平台（四）使用 Kyuubi 进行 Spark SQL 任务提交
💡
原文中文，约8800字，阅读约需21分钟。
📝
内容提要
在开源工具与EMR的数据分析平台中，使用DolphinScheduler进行离线任务调度，并引入Apache Kyuubi作为Spark SQL的提交网关，以提升并发执行能力。Kyuubi支持多租户和分布式特性，提供独立的SparkSession，增强资源隔离和系统稳定性。通过Amazon EMR的引导操作自动化部署Kyuubi，简化集群管理，并与DolphinScheduler集成，实现高效的Spark SQL任务调度与管理。
🎯
关键要点
- 在数据分析平台中使用DolphinScheduler进行离线任务调度。
- 引入Apache Kyuubi作为Spark SQL的提交网关，提升并发执行能力。
- Kyuubi支持多租户和分布式特性，提供独立的SparkSession，增强资源隔离和系统稳定性。
- Kyuubi通过Thrift JDBC/ODBC接口为用户提供统一的SQL查询接口，降低使用门槛。
- Kyuubi的多租户架构实现计算资源隔离和数据安全性，提升高可用性。
- Kyuubi与Spark Thrift Server相比，提供更好的用户隔离和弹性扩展能力。
- 通过EMR引导操作自动化部署Kyuubi，简化集群管理。
- 使用DolphinScheduler通过Kyuubi提交Spark SQL任务，提升工作流效率。
- Kyuubi在多租户隔离、资源调度和扩展性方面具有显著优势。
- Kyuubi的高级性能优化功能使其在处理大规模并发查询时表现出色。
➡️
