亚马逊AWS官方博客
·
EMR on EKS 与 Apache Kyuubi 的数据驱动之旅
内容提要
本文介绍了将Apache Kyuubi与Amazon EMR on EKS集成的方法，提供了一个更强大和灵活的数据分析平台。
关键要点
-
随着数据策略的现代化，越来越多的客户将大数据工作负载迁移到容器化环境，Kubernetes 提供了动态扩展和资源编排能力。
-
Amazon EMR on EKS 允许在 Amazon EKS 上运行开源大数据框架，支持 Apache Spark 和 Apache Flink，计划支持 Trino。
-
Apache Kyuubi 是一个高并发、可扩展的 SQL 引擎，支持多租户，能够通过 JDBC/ODBC 访问，促进资源共享并提供快速响应。
-
Kyuubi 可以与不同的资源管理器集成，包括 Kubernetes 和 YARN，便于与 EMR on EKS 集成。
-
方案搭建步骤包括预置 EMR on EKS 环境、构建包含 Apache Kyuubi 的自定义镜像和安装 Kyuubi。
-
功能验证包括登录 Kyuubi Server、提交任务到 EMR on EKS 和通过 Thrift 连接到 Kyuubi 进行 SQL 验证。
-
配置 Hue 访问 Kyuubi 需要设置负载均衡器，并更新 Hue 的 Spark 访问配置。
-
通过结合 Apache Kyuubi 和 EMR on EKS，可以提供更强大和灵活的数据分析平台，提升企业的数据处理效率。
延伸问答
如何将Apache Kyuubi与Amazon EMR on EKS集成？
集成步骤包括预置EMR on EKS环境、构建包含Apache Kyuubi的自定义镜像和安装Kyuubi。
Apache Kyuubi的主要功能是什么？
Apache Kyuubi是一个高并发、可扩展的SQL引擎，支持多租户，通过JDBC/ODBC访问，促进资源共享并提供快速响应。
Amazon EMR on EKS支持哪些大数据框架？
Amazon EMR on EKS支持Apache Spark和Apache Flink，计划未来支持Trino。
如何配置Hue访问Kyuubi？
需要设置负载均衡器，并更新Hue的Spark访问配置，确保sql_server_host和sql_server_port正确指向Kyuubi的负载均衡器地址。
Kyuubi如何与Kubernetes集成？
Kyuubi可以与Kubernetes和YARN等资源管理器无缝集成，便于在EMR on EKS上运行。
结合Apache Kyuubi和EMR on EKS的优势是什么？
结合后可以提供更强大和灵活的数据分析平台，提升企业的数据处理效率。
