JuiceFS 元数据引擎四探：元数据大小评估、限流与限速的设计思考（2024）

JuiceFS的元数据引擎设计考虑了元数据大小评估、限流和限速。

元数据存储在TiKV regions中，可以通过pd-ctl和tikv-ctl进行查看和操作。

JuiceFS的集群规模与元数据大小有关，小文件和大文件会影响TiKV engine size。

JuiceFS设计了上传和下载数据带宽的限速功能，限速配置保存在TiKV中。

JuiceFS考虑了元数据请求的限流设计，以保护元数据引擎免受过多请求的影响。

目前JuiceFS没有社区版的元数据引擎保护能力，但可以通过扩展现有设计实现客户端和服务端限流。

TiKV engine size与文件数量和平均文件大小有关，小文件对应一条记录，大文件会被拆分成多条记录。

GC的频率会显著影响数据库大小，TiKV的GC滞后会导致DB size增加。

限速配置保存在元数据平面，JuiceFS客户端可以重新加载这些配置。

限流设计是为了保护元数据引擎，防止请求过多导致系统崩溃。

JuiceFS缺少对元数据引擎的保护能力，需设计客户端和服务端的限流方案。