ARTHURCHIAO'S BLOG
·
直观解读 JuiceFS 的数据和元数据设计（三）：看山还是山（2024）
💡
原文中文，约9700字，阅读约需23分钟。
📝
内容提要
本文探讨了JuiceFS的数据和元数据设计，重点在于如何从对象存储和元数据恢复文件。通过扫描元数据引擎和对象存储，验证数据合法性，并介绍清理无效数据的工具和方法。最后，讨论了JuiceFS的文件大小限制及其不支持直接读取对象存储中的文件。
🎯
关键要点
- 本文探讨了JuiceFS的数据和元数据设计，重点在于如何从对象存储和元数据恢复文件。
- JuiceFS文件被切分成Chunk、Slice、Block，元数据以inode、slice、block等信息组织。
- 恢复文件的过程包括扫描元数据引擎和对象存储，拼凑文件信息。
- JuiceFS提供命令行选项查看文件的chunk/slice/block信息。
- 判断对象存储中的数据是否合法需要从元数据引擎读取slice size和object key。
- 不符合命名规范或大小为零的对象可以被清理。
- 引入pending delete slices优化大批量删除性能，允许后台异步删除。
- JuiceFS支持的单个最大文件大小为128PiB，理论上限更高但实际限制在代码中。
- JuiceFS写入对象存储的文件不能直接读取，缺乏文件信息元数据。
- JuiceFS不会对文件进行合并，以避免读放大。
➡️
