使用 Serverless 架构快速构建基于 Iceberg 的事务型实时数据湖
原文约15900字，阅读约需38分钟。发表于：。目前大部分使用数据湖技术的场景，需要托管大规模的大数据集群，例如 Kafka 集群，Hadoop 集群等等，但是，由于集群的运维复杂度和资源弹性管理需要投入大量的人力。并且如果需要实现从数据库到数据湖的实时同步，需要对数据库事务性的数据变更进行单独的处理，才能够使得数据库与数据湖之间数据保持一致性。因此，本文提出基于 AWS 中相关的 Serverless 服务来构建数据湖，该方案主要利用 AWS 中 MSK Connect，MSK Serverless，Glue，Athena 来构建无服务的数据湖方案。
本文介绍了基于Serverless服务构建数据湖的方案，利用MSK Connect、MSK Serverless、Glue和Athena等工具降低海量数据实时分析场景中的架构复杂度和运维难度。方案包括使用MSK Connect收集MySQL binlog产生的CDC数据、配置Glue Streaming Job将数据实时写入Iceberg表、在Athena中对Iceberg表进行查询和分析。适用于各种实时数据分析场景，快速构建可扩展的数据湖，满足企业对数据实时性和分析灵活性的需求。
