ARTHURCHIAO'S BLOG
·
JuiceFS 元数据引擎四探：元数据大小评估、限流与限速的设计思考（2024）
💡
原文中文，约10000字，阅读约需24分钟。
📝
内容提要
JuiceFS的元数据引擎考虑了元数据大小评估、限流和限速。元数据存储在TiKV regions中，可以通过pd-ctl和tikv-ctl查看和操作。JuiceFS的集群规模和元数据大小有关，小文件和大文件会影响TiKV engine size。JuiceFS还设计了上传和下载数据带宽的限速功能。限速配置保存在元数据平面的TiKV中，可以通过JuiceFS客户端重新加载配置。JuiceFS还考虑了元数据请求的限流设计，可以保护元数据引擎免受过多请求的影响。目前JuiceFS还没有社区版的元数据引擎保护能力，但可以通过扩展现有设计来实现客户端限流和服务端限流。
🎯
关键要点
- JuiceFS的元数据引擎设计考虑了元数据大小评估、限流和限速。
- 元数据存储在TiKV regions中，可以通过pd-ctl和tikv-ctl进行查看和操作。
- JuiceFS的集群规模与元数据大小有关，小文件和大文件会影响TiKV engine size。
- JuiceFS设计了上传和下载数据带宽的限速功能，限速配置保存在TiKV中。
- JuiceFS考虑了元数据请求的限流设计，以保护元数据引擎免受过多请求的影响。
- 目前JuiceFS没有社区版的元数据引擎保护能力，但可以通过扩展现有设计实现客户端和服务端限流。
- TiKV engine size与文件数量和平均文件大小有关，小文件对应一条记录，大文件会被拆分成多条记录。
- GC的频率会显著影响数据库大小，TiKV的GC滞后会导致DB size增加。
- 限速配置保存在元数据平面，JuiceFS客户端可以重新加载这些配置。
- 限流设计是为了保护元数据引擎，防止请求过多导致系统崩溃。
- JuiceFS缺少对元数据引擎的保护能力，需设计客户端和服务端的限流方案。
➡️
