使用 Amazon Athena 查询分析 Apache Paimon 数据

使用 Amazon Athena 查询分析 Apache Paimon 数据

💡 原文中文,约9900字,阅读约需24分钟。
📝

内容提要

本文介绍了使用Amazon EMR和Apache Paimon构建流式数据湖的方法,通过Amazon Athena和Athena Federated Query对Apache Paimon表中的数据进行查询分析,以及使用Athena for Apache Spark进行交互式数据分析和探索。通过自定义的Data Source Connector,可以实现通过标准SQL查询Apache Paimon表中的数据,无需管理底层资源。通过这些方式,可以快速获得Apache Paimon中的业务洞察。

🔎

延伸解读

两种查询路径的适用场景

Athena for Apache Spark 适合需要交互式探索、使用 PySpark 或 Spark SQL 进行复杂处理的场景,支持 Time Travel 和 Batch Incremental 读取,还能创建 Paimon 表。而 Athena Federated Query 通过自定义 Connector 提供标准 SQL 查询,更贴近传统 BI 分析习惯,且支持分区减枝、谓词下推等优化。读者可根据团队技能栈和查询模式选择。

版本限制带来的功能边界

Athena for Apache Spark 的 runtime 基于 Spark 3.2,因此无法支持 Paimon 的 Streaming Read/Write,只能进行批式操作。同时,Federated Query 方式目前也不支持 Create Table 和 Alter Table,仅能读取数据。若业务需要流式写入或表结构变更,需考虑其他引擎如 Flink 或 Spark 独立集群。

自定义 Connector 的部署要点

构建 Paimon Data Source Connector 需实现 MetadataHandler 和 RecordHandler 接口,并打包为 Lambda 镜像部署,因为依赖包解压后超过 250MB 的 Zip 限制。部署时需配置 SAM 模板,指定 AthenaCatalogName、SpillBucket、PaimonDataBucket 等参数。查询时表名格式为 "lambda:<function_name>"."schema"."table",需与部署时的 Catalog 名称一致。

性能优化与查询表现

Federated Query 方式通过实现谓词下推、分区减枝和 Limited Scan,将过滤条件下推到 Paimon 层执行,减少底层数据扫描量。示例中聚合查询仅扫描 1.56 MB 数据,耗时 6.58 秒,与 Athena for Spark 的 Spark SQL 结果一致。这表明在数据量较大时,合理利用下推优化能有效提升查询效率。

❓

Q&A

如何使用 Amazon Athena 查询 Apache Paimon 数据?

可以通过 Athena for Apache Spark 或 Athena Federated Query 来查询 Apache Paimon 数据,前者支持交互式分析,后者允许使用标准 SQL 查询存储在 Amazon S3 中的数据。

Athena for Apache Spark 有哪些功能?

Athena for Apache Spark 支持交互式数据分析、Batch Read、Time Travel Query 和创建数据表等功能,用户可以通过 Notebook 提交 Spark 代码或 SQL 进行查询。

如何构建 Apache Paimon Data Source Connector?

构建 Apache Paimon Data Source Connector 需要实现 MetadataHandler 和 RecordHandler 接口,并使用 Athena Query Federation SDK 进行开发。

Athena Federated Query 的优势是什么?

Athena Federated Query 允许用户以标准 SQL 查询非结构化和半结构化数据,并支持分区减枝、Limited Scan 和谓词下推等优化,具有良好的开放能力。

使用 Glue Data Catalog 有什么好处?

使用 Glue Data Catalog 可以方便地管理和查询 Paimon 数据库,支持元数据的获取和查询,提升数据管理效率。

Athena for Apache Spark 和 Athena Federated Query 有什么区别?

Athena for Apache Spark 主要用于交互式数据分析,支持 Spark SQL,而 Athena Federated Query 允许跨数据源使用标准 SQL 查询,适用于非 S3 数据。

🏷️

标签

➡️

继续阅读