亚马逊AWS官方博客
·
大型 MongoDB 数据库迁移到 DocumentDB Elastic Cluster 的最佳实践
💡
原文中文，约13200字，阅读约需32分钟。
📝
内容提要
本文介绍了 MongoDB 扩展性问题和副本集迁移难点的解决方案，mongodump/mongorestore + DMS 增量方案是最稳定快速的。建议在存储容量达到 TB 级别时尽早进行 sharding 的设计和改造。
🎯
关键要点
- MongoDB因灵活的schema和接近关系型数据库的访问特点被广泛应用，尤其在游戏和互联网金融行业。
- 大库治理方案包括冷热数据隔离、垂直拆分、水平拆分和删除历史数据，客户通常选择水平sharding。
- DocumentDB Elastic Cluster是支持水平sharding的云数据库服务，本文研究MongoDB副本集迁移到DocumentDB的海量数据迁移问题。
- 迁移方案包括AWS DMS全量+增量、Mongoshake全量+增量、mongodump/mongorestore+DMS增量，推荐使用方案3。
- mongodump/mongorestore+DMS增量方案的优势是稳定快速，缺点是增量同步能力不足，但可以借助DMS的增量同步能力。
- 迁移步骤包括环境部署、mongo tools安装、导出源库数据、在目标DocDB创建启用sharding的数据库和集合、导入数据到目标库、监控写入指标和增量同步。
- 在增量同步中，需要配置DMS的增量任务，确保数据一致性，监控CDC任务的状态。
- 建议在存储容量达到TB级别时尽早进行sharding设计和改造，以防止数据库过于庞大，导致架构优化和数据迁移变得复杂。
➡️
