💡
原文中文，约16100字，阅读约需39分钟。
📝
内容提要
本文介绍了使用Apache Hudi的DeltaStreamer将CDC数据接入Hudi表，并在EMR Serverless上运行的方法。通过DeltaStreamer和EMR Serverless，用户无需编写CDC处理代码或维护Spark集群，只需一条命令即可实现CDC数据入湖。文章详细介绍了架构、环境准备、配置变量、创建目录和存储桶、创建EMR Serverless Execution Role、创建EMR Serverless Application、提交DeltaStreamer CDC作业、监控作业、错误检索、停止作业和结果验证等步骤。DeltaStreamer目前只能接入单张表，但随着Hudi的发展，多表接入工具将会越来越成熟。
🎯
关键要点
- Apache Hudi 的 DeltaStreamer 简化了流式数据入湖的操作，支持 CDC 数据处理。
- EMR Serverless 提供无服务器的 Spark 运行环境，用户无需维护集群即可提交作业。
- DeltaStreamer 作为 CDC 数据处理链路的末端环节，能够直接将 Debezium 采集的 CDC 数据落地成 Hudi 表。
- 文章详细介绍了 DeltaStreamer 的整体架构，包括 MySQL、Kafka Connect 和 Schema Registry 的使用。
- 环境准备包括 MySQL、Kafka Connect、Confluent Schema Registry 和 Kafka 的构建。
- 配置全局变量是执行 DeltaStreamer 作业的必要步骤，用户需根据自身环境进行调整。
- 创建专属工作目录和 S3 存储桶是最佳实践，有助于维护和管理作业相关文件。
- EMR Serverless Execution Role 赋予作业访问 AWS 资源的权限，需配置相应的 IAM Role。
- 创建 EMR Serverless Application 时需指定网络配置，以确保 DeltaStreamer 能访问所需服务。
- 提交 DeltaStreamer CDC 作业需要准备作业描述文件，配置项较多。
- 监控作业状态、检索错误信息和停止作业是作业管理的重要步骤。
- 作业启动后会自动创建数据表并写入数据，用户可通过命令验证结果。
- DeltaStreamer 目前只能接入单张表，未来多表接入工具将逐步成熟，满足更多需求。
➡️
