CDC 一键入湖：在 Amazon EMR Serverless 上运行 Apache Hudi DeltaStreamer
原文约16100字，阅读约需39分钟。发表于：。Apache Hudi 的 DeltaStreamer 是一种以近实时方式摄取数据并写入 Hudi 表的工具类，自 `0.10.0` 版开始，Hudi 在 DeltaStreamer 的基础上增加了基于 Debezium 的 CDC 数据处理能力。另一方面，越来越多的 Amazon EMR 的用户开始使用 Amazon EMR Serverless。一个是“全配置”的 Hudi 工具类， 一个是“开箱即用”的 Spark 运行环境，两者结合在一起，仅通过一条命令，就可以轻松实现 CDC 数据入湖。
本文介绍了使用Apache Hudi的DeltaStreamer将CDC数据接入Hudi表，并在EMR Serverless上运行的方法。通过DeltaStreamer和EMR Serverless，用户无需编写CDC处理代码或维护Spark集群，只需一条命令即可实现CDC数据入湖。文章详细介绍了架构、环境准备、配置变量、创建目录和存储桶、创建EMR Serverless Execution Role、创建EMR Serverless Application、提交DeltaStreamer CDC作业、监控作业、错误检索、停止作业和结果验证等步骤。DeltaStreamer目前只能接入单张表，但随着Hudi的发展，多表接入工具将会越来越成熟。
