本文分享了基于AWS Glue构建DynamoDB批量执行工具Bulk Executor的经验,该工具实现无服务器并行,支持find、delete、count等命令。设计取舍包括:用Spark DataFrame简化命令开发,但因连接器不支持删除且丢失数据类型,部分命令改用直接API调用;用CloudWatch Live Tail实时输出,需解决采样、乱序和延迟问题;通过错误累加器避免重复堆栈;强制启用PITR以便回滚;自建分布式限流器;并用AI辅助测试和代码检查。
过去十年,云数据库架构显著演进,底层存储从“本地盘+复制”转向“共享池+共识化日志+页面服务”。Amazon Aurora、Microsoft Socrates、Alibaba PolarDB和Huawei Taurus等系统实现了“存算分离”理念,强调日志作为数据库的唯一真相,页面按需物化。本文探讨了这些系统的核心机制、设计取舍及自建分离存储的路线图与注意事项。
完成下面两步后,将自动完成登录并继续当前操作。