陈少文的博客
·
3FS 关键技术和设计
内容提要
本文介绍了3FS的关键技术，包括Direct IO与硬件直接交互、RDMA实现低延迟数据传输、CRAQ处理读写请求、MGMTD管理集群、Meta存储元数据以及Storage服务管理SSD。客户端可通过FUSE或USRBIO接口使用，存储块分配基于文件大小。
关键要点
-
Direct IO 绕过操作系统的页缓存，直接与硬件设备交互，适合大文件顺序读写。
-
RDMA 允许数据在计算机间直接传输，具有低 CPU 使用率和高吞吐量的特点。
-
CRAQ 是处理读写请求的核心设计，采用链式结构，支持 dirty 和 clean 副本的管理。
-
MGMTD 是集群管理器，负责心跳监测和主节点的故障转移。
-
Meta 元数据服务无状态，元数据存储在 FoundationDB 中，处理文件操作请求。
-
Storage 服务管理 SSD，提供存储块接口，支持 CRAQ 协议。
-
客户端可通过 FUSE 或 USRBIO 接口使用，USRBIO 提供更高效的 IO 请求提交方式。
-
Target 和 Chain 是 3FS 的关键对象，维护数据的存储和版本管理。
-
存储块的分配基于文件大小，采用固定数量的数据文件和 RocksDB 数据库。
延伸问答
什么是Direct IO，它的主要特点是什么？
Direct IO绕过操作系统的页缓存，直接与硬件设备交互，适合大文件顺序读写，内存占用少，不需要缓存。
RDMA技术在3FS中有什么优势？
RDMA允许数据在计算机间直接传输，具有低CPU使用率、高吞吐量和低延迟的特点，能够扩大存储系统的规模。
CRAQ的工作流程是怎样的？
CRAQ采用链式结构处理读写请求，写入时客户端向头部发送请求，读取时所有读取转到Tail Target，可能会查询到dirty副本。
MGMTD在3FS中扮演什么角色？
MGMTD是集群管理器，负责心跳监测和主节点的故障转移，确保集群的稳定性和可靠性。
3FS的客户端如何使用？
客户端可以通过FUSE或USRBIO接口使用，USRBIO提供更高效的IO请求提交方式。
在3FS中，存储块是如何分配的？
存储块的分配基于文件大小，采用固定数量的数据文件和RocksDB数据库，数据文件大小以2的幂为增量进行分配。
