InfoQ
·
优步通过MyRocks差异备份实现显著存储节省
内容提要
优步成功实施了新的差异备份系统，降低了高达70%的存储成本。该系统有效应对了迁移到MyRocks后存储成本和备份时间增加的问题，通过利用MyRocks的SSTable文件的不可变性，仅在备份中添加新文件，从而显著提升了备份速度和效率。
关键要点
-
优步成功实施了新的差异备份系统，降低了高达70%的存储成本。
-
该系统应对了迁移到MyRocks后存储成本和备份时间增加的问题。
-
Schemaless和Docstore数据库处理数十PB的操作数据，每秒处理数千万个请求。
-
MyRocks缺乏增量备份支持，导致每个数据库分区需要全量备份，增加了存储成本。
-
新系统利用MyRocks的SSTable文件的不可变性，仅在备份中添加新文件。
-
备份清单文件以JSON文档形式记录备份类型、状态、时间和文件校验和。
-
备份调度器管理备份的时间和频率，实际备份由临时备份容器执行。
-
在某些情况下仍需进行全量备份，如首次运行、节点不适合时、版本升级前等。
-
新系统与Percona XtraBackup工具兼容，未对现有数据库基础设施进行大规模更改。
-
优步报告大多数实例数据存储平均减少45%，某些实例减少70%以上，备份速度显著提高。
延伸问答
优步的新备份系统如何降低存储成本？
优步的新差异备份系统通过仅在备份中添加新文件，利用MyRocks的SSTable文件的不可变性，降低了高达70%的存储成本。
MyRocks在备份方面存在哪些限制？
MyRocks缺乏增量备份支持，导致每个数据库分区需要进行全量备份，增加了存储成本。
优步的新备份系统是如何工作的？
新备份系统首先进行全量备份，然后在后续的差异备份中仅添加新创建的SSTable文件，重用之前备份中的文件。
备份清单文件的作用是什么？
备份清单文件以JSON文档形式记录备份类型、状态、时间和文件校验和，作为备份的索引，便于恢复过程。
优步的备份调度器是如何管理备份的？
备份调度器是一个无状态服务，负责根据分区备份状态确定备份的时间和频率，实际备份由临时备份容器执行。
在什么情况下仍需进行全量备份？
全量备份仍需在首次运行、节点不适合时、版本升级前等情况下进行。
