利用 Amazon EMR Serverless、Amazon Athena、Apache Dolphinscheduler 以及本地 TiDB 和 HDFS 在混合部署环境中构建无服务器数据仓库（一）云上云下数据同步方案设计
内容提要
本文介绍了金融科技客户如何利用亚马逊云科技的无服务器数据仓库解耦方法来管理数据需求，包括使用Apache EMR Serverless、Apache DolphinScheduler和Amazon Athena等工具实现数据同步和处理。同时介绍了云上云下数据同步的架构设计和解决方案，以及数据完整性检查方法和亚马逊云科技DataSync的保证机制。亚马逊云科技提供丰富的产品和服务满足金融科技客户的数据安全和合规性需求。
延伸解读
混合架构下的数据驻留策略
案例中金融科技客户将出入金数据、用户基础数据等敏感业务数据保留在本地IDC，仅将用户行为数据和脱敏后的业务数据上云。这种策略在满足数据安全合规要求的同时，仍能利用云上无服务器服务的弹性与成本优势。对于受监管行业，这种按数据敏感度分层的混合部署模式，可作为平衡合规与创新的参考。
双向同步的完整性校验取舍
文章指出，自研完整性检查在源和目标均为关系型数据库时，可通过校验值和行数比对实现。但TiDB到S3的同步中，目标端为对象存储，只能退而对比列总数、行总数和列名。这意味着该场景下的完整性保障存在一定局限，读者需注意其校验粒度较粗，可能无法发现内容级差异。
增量同步的两种技术路径对比
对于TiDB增量数据同步，文章给出两种方案：一是利用TiDB Dumpling配合自管理检查点，需目标表有单调递增主键，并将最后摄入ID存入Redis或DynamoDB；二是使用TiDB CDC Connector，基于Flink引擎性能快且具备原生CDC机制，但需创建大量Flink表映射ODS表。选择时需权衡实现复杂度与运维成本。
调度与计算解耦提升可靠性
Apache DolphinScheduler以集群模式部署在3个EC2实例上，与EMR Serverless作业解耦。这种设计使得调度器或EMR作业任一发生故障时，不会影响另一方，从而提升整体系统可靠性。对于需要高可用保障的数据管道，解耦部署是一种值得考虑的模式，但同时也增加了组件间协调的复杂度。
Q&A
如何利用亚马逊云科技构建无服务器数据仓库？
可以通过使用Apache EMR Serverless、Apache DolphinScheduler和Amazon Athena等工具来实现数据同步和处理，构建无服务器数据仓库。
金融科技客户如何确保数据安全和合规性？
金融科技客户通过将敏感数据存储在本地，并采用混合架构来保持对敏感信息的控制，同时利用亚马逊云科技的服务满足数据安全和合规性需求。
云上云下数据同步的架构设计是怎样的？
云上云下数据同步架构通过亚马逊云科技 Direct Connect连接本地和云环境，数据流经Interface Endpoint for S3和PrivateLink，最终访问S3存储桶。
EMR Serverless Job在数据处理中的作用是什么？
EMR Serverless Job用于处理数据，实现数据仓库的分层逻辑，确保高可靠性，并支持通过Apache DolphinScheduler进行编排。
如何实现本地TiDB与亚马逊云科技 S3的数据同步？
可以使用TiDB Dumpling工具将数据从TiDB同步到亚马逊云科技 S3，具体命令可参考相关操作指南。
亚马逊云科技 DataSync如何保证数据完整性？
亚马逊云科技 DataSync在数据移动时执行实时校验和验证，确保写入目标的数据与从源读取的数据匹配。
