ARTHURCHIAO'S BLOG
·
直观解读 JuiceFS 的数据和元数据设计（三）：看山还是山（2024）
💡
原文中文，约9700字，阅读约需23分钟。
📝
内容提要
本文探讨了JuiceFS的数据和元数据设计，重点在于如何从对象存储和元数据恢复文件。通过扫描元数据引擎和对象存储，验证数据合法性，并介绍清理无效数据的工具和方法。最后，讨论了JuiceFS的文件大小限制及其不支持直接读取对象存储中的文件。
🎯
关键要点
- 本文探讨了JuiceFS的数据和元数据设计，重点在于如何从对象存储和元数据恢复文件。
- JuiceFS文件被切分成Chunk、Slice、Block，元数据以inode、slice、block等信息组织。
- 恢复文件的过程包括扫描元数据引擎和对象存储，拼凑文件信息。
- JuiceFS提供命令行选项查看文件的chunk/slice/block信息。
- 判断对象存储中的数据是否合法需要从元数据引擎读取slice size和object key。
- 不符合命名规范或大小为零的对象可以被清理。
- 引入pending delete slices优化大批量删除性能，允许后台异步删除。
- JuiceFS支持的单个最大文件大小为128PiB，理论上限更高但实际限制在代码中。
- JuiceFS写入对象存储的文件不能直接读取，缺乏文件信息元数据。
- JuiceFS不会对文件进行合并，以避免读放大。
❓
延伸问答
JuiceFS是如何从对象存储和元数据恢复文件的？
JuiceFS通过扫描元数据引擎获取文件信息，然后根据slice_id和block_id拼凑出对象存储中的object key，依次读取数据拼接成文件。
JuiceFS支持的最大文件大小是多少？
JuiceFS支持的单个最大文件大小为128PiB，理论上限更高但实际限制在代码中。
如何判断对象存储中的数据是否合法？
通过从元数据引擎读取slice size和object key，判断对象是否符合命名规范和大小是否为零，来判断数据是否合法。
JuiceFS提供了哪些工具来清理无效数据？
JuiceFS提供了命令行工具juicefs gc，用于快速判断和清理无效数据。
JuiceFS为什么不支持直接读取对象存储中的文件？
因为JuiceFS写入对象存储的文件是按Chunk、Slice、Block切分的，缺乏文件信息元数据，无法恢复原文件。
JuiceFS是如何优化大批量删除性能的？
JuiceFS引入了pending delete slices，允许后台异步删除，以优化大批量删除性能。
➡️
