ARTHURCHIAO'S BLOG
·
JuiceFS 元数据引擎五探：元数据备份与恢复（2024）
💡
原文中文，约10400字，阅读约需25分钟。
📝
内容提要
文章介绍了 JuiceFS 元数据的备份与恢复方法。元数据存储在如 TiKV 的引擎中，备份方式包括通过 JuiceFS 客户端扫描 volume 和直接从 TiKV 备份。JuiceFS 支持手动和自动备份，自动备份可设定间隔时间。大规模 volume 的备份可能影响业务稳定性。TiKV 备份可用 TiDB br 工具，但需调整以适应 JuiceFS。文章详细说明了备份和恢复的步骤及注意事项。
🎯
关键要点
- JuiceFS 元数据存储在 TiKV 引擎中，备份方式包括通过 JuiceFS 客户端扫描 volume 和直接从 TiKV 备份。
- JuiceFS 支持手动和自动备份，自动备份可设定间隔时间。
- 大规模 volume 的备份可能影响业务稳定性。
- TiKV 备份可用 TiDB br 工具，但需调整以适应 JuiceFS。
- 手动备份使用 juicefs dump 命令生成 JSON 文件，包含 volume 的所有元数据信息。
- 自动备份通过 juicefs mount --backup-meta <duration> 命令控制，默认间隔为 1 小时。
- 使用 juicefs load 命令可以从备份文件恢复元数据。
- 备份过程中如果业务仍在写入，导出的文件可能不可用，需在导出前停写。
- 直接在线上进行导出可能会影响业务稳定性，备份需逐个 volume 进行。
- TiKV 备份原理是通过 PD 请求集群进行备份，备份按 region 进行多副本存储。
- TiDB br 和 tikv-br 是备份工具，但在实际使用中可能存在问题。
- 基于 TiDB br 进行 JuiceFS TiKV 集群备份与恢复需进行特定配置。
- 备份时需考虑 MVCC 数据的多个版本，可能导致备份文件大小增加。
- 恢复时需使用 juicefs 挂载新 TiKV 集群以验证恢复成功。
➡️
