Aurora MySQL 2 升级之下游 Binlog 消费处理方案 – Flink CDC
内容提要
随着MySQL 5.7和Aurora MySQL 2的支持停止，本文介绍了如何通过蓝绿部署方式升级Aurora MySQL 2，并配置Flink CDC以减少升级影响。
延伸解读
升级时间线与成本影响
Aurora MySQL 2 的标准支持将于 2024 年 10 月 31 日停止，并从 2024 年 12 月 1 日起收取扩展支持费用。这意味着如果未及时升级，不仅可能失去官方支持，还会增加额外成本。因此，对于仍在使用 Aurora MySQL 2 的用户，需要尽快规划升级窗口，避免不必要的支出。
Flink CDC 在升级中的关键作用
Flink CDC 作为基于流的数据集成工具，支持表结构变更自动同步、数据转换、整库同步和精确一次语义。在 Aurora MySQL 升级过程中，它能够持续将源数据库的变更同步到目标数据库，确保下游分析业务不受影响。通过配置 checkpoint 和断点续传，可以在升级导致连接中断后快速恢复同步，减少数据延迟。
蓝绿部署中的同步风险与应对
蓝绿部署切换时，源数据库可能短暂不可用，导致 Flink CDC 任务报错，如无法找到 binlog。此时需要手动重启任务，并从 AWS 控制台事件中查找 Binary log coordinates，获取 binlog 文件和位置，通过设置 scan.startup.mode 为 specific-offset 等参数，从断点继续同步，避免全量重刷，保证数据一致性。
验证断点续传的方法
在重新提交 Flink 任务后，可以通过在源库插入新数据，并检查目标库是否同步来验证。进一步，查看目标库的 binlog 事件，如果看到的是单条插入语句而非全量批量插入，则说明是从断点位置续传，而非全量加载。这有助于确认同步的正确性和数据完整性。
Q&A
Aurora MySQL 2 升级的主要原因是什么？
Aurora MySQL 2 的支持将在 2024 年停止，因此需要进行升级以保持数据库的正常运行。
Flink CDC 是什么，它的主要功能有哪些？
Flink CDC 是一个基于流的数据集成工具，支持自动化 ETL 流程，具备表结构变更自动同步、数据转换和整库同步等功能。
如何准备 Flink 集群以支持 Aurora MySQL 2 的升级？
准备 Flink 集群包括下载 Flink、配置参数、启动集群，并确保开启 checkpoint 功能。
在 Flink SQL Client 中如何创建源表和目标表？
在 Flink SQL Client 中，使用 CREATE TABLE 语句定义源表和目标表，并指定连接器和数据库信息。
在升级过程中如何验证 Flink CDC 的数据同步状态？
可以通过查询目标数据库中的数据，确保数据与源数据库一致，从而验证 Flink CDC 的同步状态。
如果 Flink CDC 任务出现错误，应该如何处理？
需要手动重新启动 Flink CDC 任务，并从上次中断的 Binlog ID 和 Position ID 继续同步数据。
