ARTHURCHIAO'S BLOG
·
JuiceFS 元数据引擎三探：从实践中学习 TiKV 的 MVCC 和 GC（2024）
内容提要
JuiceFS的元数据引擎支持MVCC和GC机制，MVCC通过时间戳区分版本，GC用于清理旧版本。TiKV支持被动GC和半主动GC两种方式。JuiceFS客户端可定期更新PD中的gc safepoint来触发TiKV的GC操作。建议设置较小的GC间隔并由管理员定期进行GC操作，以避免TiKV的DB size暴增和region split失败。
关键要点
-
JuiceFS的元数据引擎支持MVCC和GC机制，MVCC通过时间戳区分版本，GC用于清理旧版本。
-
TiKV支持被动GC和半主动GC两种方式，建议设置较小的GC间隔以避免DB size暴增和region split失败。
-
MVCC（多版本并发控制）允许同时保留旧数据和新数据，通过时间戳区分版本。
-
TiKV的GC功能依赖于safepoint，确保所有活跃事务的时间戳大于等于safepoint。
-
TiKV的GC设计包括被动GC和半主动GC，后者依赖外围组件更新PD中的gc safepoint。
-
JuiceFS客户端定期更新PD中的gc safepoint，默认设置为now-3h。
-
TiKV的GC不及时可能导致DB size暴增和region split失败，需定期手动触发GC。
-
用户需了解TiKV的GC机制，增加了使用负担，建议有服务自动管理GC。
-
管理员应有能力按需或定时触发GC，以避免用户操作导致的资源问题。
延伸问答
JuiceFS的元数据引擎如何支持MVCC和GC机制？
JuiceFS的元数据引擎通过时间戳区分版本来支持MVCC，并使用GC机制清理旧版本数据。
TiKV的GC机制有哪些类型？
TiKV支持被动GC和半主动GC两种方式，前者依赖于RocksDB的compaction，后者依赖外围组件更新PD中的gc safepoint。
如何设置JuiceFS的GC间隔以避免DB size暴增？
建议设置较小的GC间隔，并由管理员定期触发GC操作，以避免TiKV的DB size暴增和region split失败。
TiKV的safepoint是什么？
safepoint是一个时间戳，确保所有活跃事务的时间戳大于等于此值，以便GC可以安全地删除旧版本数据。
JuiceFS如何触发TiKV的GC操作？
JuiceFS客户端定期更新PD中的gc safepoint，默认设置为now-3h，以触发TiKV的GC操作。
TiKV的GC不及时会导致什么问题？
TiKV的GC不及时可能导致DB size暴增和region split失败，影响系统性能和稳定性。
