InfoQ
·
优步通过MyRocks差异备份实现显著存储节省
💡
原文英文，约600词，阅读约需3分钟。
📝
内容提要
优步成功实施了新的差异备份系统，降低了高达70%的存储成本。该系统有效应对了迁移到MyRocks后存储成本和备份时间增加的问题，通过利用MyRocks的SSTable文件的不可变性，仅在备份中添加新文件，从而显著提升了备份速度和效率。
🎯
关键要点
- 优步成功实施了新的差异备份系统，降低了高达70%的存储成本。
- 该系统应对了迁移到MyRocks后存储成本和备份时间增加的问题。
- Schemaless和Docstore数据库处理数十PB的操作数据，每秒处理数千万个请求。
- MyRocks缺乏增量备份支持，导致每个数据库分区需要全量备份，增加了存储成本。
- 新系统利用MyRocks的SSTable文件的不可变性，仅在备份中添加新文件。
- 备份清单文件以JSON文档形式记录备份类型、状态、时间和文件校验和。
- 备份调度器管理备份的时间和频率，实际备份由临时备份容器执行。
- 在某些情况下仍需进行全量备份，如首次运行、节点不适合时、版本升级前等。
- 新系统与Percona XtraBackup工具兼容，未对现有数据库基础设施进行大规模更改。
- 优步报告大多数实例数据存储平均减少45%，某些实例减少70%以上，备份速度显著提高。
➡️
