💡
原文中文，约6300字，阅读约需15分钟。
📝
内容提要
Apache Paimon 是一个开源数据湖表格式，支持实时流式数据处理。用户可以通过 Amazon Managed Service for Apache Flink 无服务器地运行 Paimon CDC Ingestion Job，将 MySQL、PostgreSQL、MongoDB 和 Kafka 的数据快速摄取到数据湖，并将元数据同步到 AWS Glue Data Catalog，以便使用 Athena 查询。
🎯
关键要点
- Apache Paimon 是一个开源数据湖表格式，支持实时流式数据处理。
- 用户可以通过 Amazon Managed Service for Apache Flink 无服务器地运行 Paimon CDC Ingestion Job。
- Paimon 支持从 MySQL、PostgreSQL、MongoDB 和 Kafka 等数据源快速摄取数据。
- CDC Ingestion 功能使用户能够实时构建流式数据湖，获得实时洞察。
- Amazon MSF 提供底层基础架构，简化 Flink 应用的开发和部署。
- 用户可以通过多种方式提交 Flink Job，包括 Web Console 和 AWS CLI。
- Paimon 支持多种 CDC 数据格式，如 Canal、Debezium、Maxwell 等。
- 需要配置 MSF 应用的参数，包括 Paimon 目标数据库和表信息。
- MSF 写入 Amazon S3 支持，使用 flink-s3-fs-hadoop 实现数据读写。
- Paimon Hive Catalog 与 AWS Glue Data Catalog 集成，实现元数据管理。
- 通过 Athena 查询和分析 Paimon 表数据，支持 Iceberg 兼容元数据。
- 本文示例展示如何从 Amazon MSK 中摄取 Debezium Json 格式的 CDC 数据。
- 用户需编译打包应用并上传到 S3，创建并配置 MSF 应用。
- 运行 MSF 应用后，CDC 数据将以 Paimon 格式写入 S3，并同步元数据到 Glue Data Catalog。
- 用户可以通过 Athena 查询 Paimon 表中的数据，快速构建基于 Paimon 的流式数据湖。
➡️
