InfoQ
·
优步通过MyRocks差异备份实现显著存储节省
内容提要
优步成功实施了新的差异备份系统，降低了高达70%的存储成本。该系统有效应对了迁移到MyRocks后存储成本和备份时间增加的问题，通过利用MyRocks的SSTable文件的不可变性，仅在备份中添加新文件，从而显著提升了备份速度和效率。
关键要点
-
优步成功实施了新的差异备份系统，降低了高达70%的存储成本。
-
该系统应对了迁移到MyRocks后存储成本和备份时间增加的问题。
-
Schemaless和Docstore数据库处理数十PB的操作数据，每秒处理数千万个请求。
-
MyRocks缺乏增量备份支持，导致每个数据库分区需要全量备份，增加了存储成本。
-
新系统利用MyRocks的SSTable文件的不可变性，仅在备份中添加新文件。
-
备份清单文件以JSON文档形式记录备份类型、状态、时间和文件校验和。
-
备份调度器管理备份的时间和频率，实际备份由临时备份容器执行。
-
在某些情况下仍需进行全量备份，如首次运行、节点不适合时、版本升级前等。
-
新系统与Percona XtraBackup工具兼容，未对现有数据库基础设施进行大规模更改。
-
优步报告大多数实例数据存储平均减少45%，某些实例减少70%以上，备份速度显著提高。
延伸解读
存储成本的显著降低
优步的新差异备份系统使存储成本降低了高达70%。这一变化不仅减轻了财务负担，还提高了数据管理的效率，尤其是在处理数十PB数据的情况下。对于其他企业来说，采用类似的备份策略可能会带来显著的成本节约和性能提升。
备份系统的灵活性与局限性
虽然优步的差异备份系统在大多数情况下表现出色，但仍需在特定情况下进行全量备份，如首次运行或版本升级前。这提醒企业在实施新系统时，需考虑到这些局限性，以确保数据安全和恢复的可靠性。
与现有工具的兼容性
优步的新备份系统与Percona XtraBackup工具兼容，这意味着企业可以在不进行大规模基础设施更改的情况下，轻松集成新技术。这种兼容性降低了实施新系统的风险，并使得过渡过程更加平滑。
延伸问答
优步的新备份系统如何降低存储成本？
优步的新差异备份系统通过仅在备份中添加新文件，利用MyRocks的SSTable文件的不可变性，降低了高达70%的存储成本。
MyRocks在备份方面存在哪些限制？
MyRocks缺乏增量备份支持，导致每个数据库分区需要进行全量备份，增加了存储成本。
优步的新备份系统是如何工作的？
新备份系统首先进行全量备份，然后在后续的差异备份中仅添加新创建的SSTable文件，重用之前备份中的文件。
备份清单文件的作用是什么？
备份清单文件以JSON文档形式记录备份类型、状态、时间和文件校验和，作为备份的索引，便于恢复过程。
优步的备份调度器是如何管理备份的？
备份调度器是一个无状态服务，负责根据分区备份状态确定备份的时间和频率，实际备份由临时备份容器执行。
在什么情况下仍需进行全量备份？
全量备份仍需在首次运行、节点不适合时、版本升级前等情况下进行。
