陈少文的博客
·
3FS 关键技术和设计
内容提要
本文介绍了3FS的关键技术，包括Direct IO与硬件直接交互、RDMA实现低延迟数据传输、CRAQ处理读写请求、MGMTD管理集群、Meta存储元数据以及Storage服务管理SSD。客户端可通过FUSE或USRBIO接口使用，存储块分配基于文件大小。
关键要点
-
Direct IO 绕过操作系统的页缓存，直接与硬件设备交互，适合大文件顺序读写。
-
RDMA 允许数据在计算机间直接传输，具有低 CPU 使用率和高吞吐量的特点。
-
CRAQ 是处理读写请求的核心设计，采用链式结构，支持 dirty 和 clean 副本的管理。
-
MGMTD 是集群管理器，负责心跳监测和主节点的故障转移。
-
Meta 元数据服务无状态，元数据存储在 FoundationDB 中，处理文件操作请求。
-
Storage 服务管理 SSD，提供存储块接口，支持 CRAQ 协议。
-
客户端可通过 FUSE 或 USRBIO 接口使用，USRBIO 提供更高效的 IO 请求提交方式。
-
Target 和 Chain 是 3FS 的关键对象，维护数据的存储和版本管理。
-
存储块的分配基于文件大小，采用固定数量的数据文件和 RocksDB 数据库。
延伸解读
Direct IO 的优势与应用场景
Direct IO 通过绕过操作系统的页缓存，直接与硬件交互，适合大文件的顺序读写。这种方式不仅减少了内存占用，还能提高读取性能，尤其是在处理超过 1MB 的同步读取时，能够有效转为 AIO 操作，提升效率。用户在选择存储方案时，应考虑文件大小和读写模式，以充分利用 Direct IO 的优势。
RDMA 技术的潜在影响
RDMA 技术允许计算机间直接传输数据，显著降低 CPU 使用率并提高吞吐量。这使得 3FS 在扩展存储系统时具备更高的灵活性和效率。然而，实施 RDMA 需要考虑网络架构的兼容性和成本，用户在部署时应评估现有基础设施是否支持此技术，以避免潜在的整合问题。
CRAQ 设计的优势与挑战
CRAQ 作为 3FS 的核心设计，采用链式结构处理读写请求，支持 dirty 和 clean 副本管理。这种设计提高了数据的可靠性和访问效率，但在读取 dirty 副本时可能导致延迟。用户在使用 3FS 时，应关注数据一致性和副本管理策略，以确保系统性能和数据安全。
延伸问答
什么是Direct IO，它的主要特点是什么？
Direct IO绕过操作系统的页缓存，直接与硬件设备交互，适合大文件顺序读写，内存占用少，不需要缓存。
RDMA技术在3FS中有什么优势？
RDMA允许数据在计算机间直接传输，具有低CPU使用率、高吞吐量和低延迟的特点，能够扩大存储系统的规模。
CRAQ的工作流程是怎样的？
CRAQ采用链式结构处理读写请求，写入时客户端向头部发送请求，读取时所有读取转到Tail Target，可能会查询到dirty副本。
MGMTD在3FS中扮演什么角色？
MGMTD是集群管理器，负责心跳监测和主节点的故障转移，确保集群的稳定性和可靠性。
3FS的客户端如何使用？
客户端可以通过FUSE或USRBIO接口使用，USRBIO提供更高效的IO请求提交方式。
在3FS中，存储块是如何分配的？
存储块的分配基于文件大小，采用固定数量的数据文件和RocksDB数据库，数据文件大小以2的幂为增量进行分配。
