DeepSeek于2025年2月24日至28日举办“开源周”,发布Fire-Flyer文件系统(3FS),该系统优化了SSD和RDMA网络,支持AI训练与推理,提供高达6.6 TiB/s的读取吞吐量,简化数据管理,提升数据访问效率,适用于大规模集群。
3FS是为AI训练设计的分布式文件系统,其关键功能USRBIO允许用户态应用直接提交I/O请求,提升性能。通过零拷贝和异步I/O,USRBIO适合高吞吐量场景,如AI数据处理,利用共享内存和批处理I/O请求显著降低开销,特别适合PB级数据集的处理。
九章云极对3FS分布式文件系统进行了元数据性能评测,发现其POSIX接口不完善,元数据性能较弱,但具备一定的扩展性。元数据一致性依赖于内核缓存超时,用户需调整缓存时长以提高一致性。尽管元数据表现一般,3FS在AI训练推理场景中仍表现良好。
本文介绍了3FS的关键技术,包括Direct IO与硬件直接交互、RDMA实现低延迟数据传输、CRAQ处理读写请求、MGMTD管理集群、Meta存储元数据以及Storage服务管理SSD。客户端可通过FUSE或USRBIO接口使用,存储块分配基于文件大小。
本文记录了DeepSeek 3FS的运维操作,包括基本概念、链和目标定义、参数设置、集群初始化、节点重建和扩容等,强调操作谨慎性和命令幂等性,提供详细命令示例和注意事项,以确保数据一致性和系统稳定性。
本文介绍了如何容器化部署 DeepSeek 3FS 存储系统,包括编译镜像、部署 ClickHouse 和 FoundationDB 中间件,以及启动 Monitor、Admin CLI、MgmtD、Meta 和 Storage 服务。通过设置环境变量和启动参数,可以灵活启动不同服务,提供了具体步骤和脚本。
3FS(Fire-Flyer文件系统)是DeepSeek推出的高性能并行文件系统,专为AI工作负载设计。它于2025年开源,具有分离式架构和强一致性等特点。本文介绍了3FS的编译与部署过程,包括依赖安装、服务配置和监控设置,以帮助用户理解AGI时代的存储需求。
本文介绍了一个Python程序,用于生成指定大小的模拟checkpoint文件并测量存储速度。程序通过命令行参数设置文件大小和保存目录,利用PyTorch库生成随机数据并保存,最后输出存储速度。
本文介绍了如何将3FS与Fluid对接,3FS是一个开源的分布式存储系统。通过Fluid,可以方便地管理存储、创建PVC并自动挂载。文章详细描述了编译3FS的builder镜像、制作ThinRuntime镜像及使用Fluid挂载3FS存储的步骤,并进行了性能测试,读取速度达到12GB/s,写入速度约为1.6GB/s。
DeepSeek 3FS是一款高性能并行文件系统,专为AI训练和推理设计。它优化了数据访问速度和一致性,支持大规模模型训练和实时推理,具备强一致性和低延迟的特点。其开源发布提升了AI系统中的数据处理效率。
DeepSeek 开源周发布的 3FS 是为 AI 高性能计算设计的分布式并行文件系统,优化大规模数据集处理,支持高 IOPS 和吞吐量,提升推理任务性能。
完成下面两步后,将自动完成登录并继续当前操作。