小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
基于 SoftRCoE 部署 DeepSeek Fire-Flyer File System (3FS)

DeepSeek于2025年2月24日至28日举办“开源周”,发布Fire-Flyer文件系统(3FS),该系统优化了SSD和RDMA网络,支持AI训练与推理,提供高达6.6 TiB/s的读取吞吐量,简化数据管理,提升数据访问效率,适用于大规模集群。

基于 SoftRCoE 部署 DeepSeek Fire-Flyer File System (3FS)

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2025-05-26T23:30:00Z

机器之心数据服务现已上线,提供高效稳定的数据获取,简化数据爬取流程。

3FS系列(三):从源码到实测:3FS USRBIO静态库的编译与性能体验

机器之心
机器之心 · 2025-05-09T07:55:17Z

3FS是为AI训练设计的分布式文件系统,其关键功能USRBIO允许用户态应用直接提交I/O请求,提升性能。通过零拷贝和异步I/O,USRBIO适合高吞吐量场景,如AI数据处理,利用共享内存和批处理I/O请求显著降低开销,特别适合PB级数据集的处理。

3FS Usrbio 简介

代码范
代码范 · 2025-04-06T04:45:15Z
​​3FS系列(二):3FS元数据性能深度拆解:那些在技术文档中找不到的实现细节​

九章云极对3FS分布式文件系统进行了元数据性能评测,发现其POSIX接口不完善,元数据性能较弱,但具备一定的扩展性。元数据一致性依赖于内核缓存超时,用户需调整缓存时长以提高一致性。尽管元数据表现一般,3FS在AI训练推理场景中仍表现良好。

​​3FS系列(二):3FS元数据性能深度拆解:那些在技术文档中找不到的实现细节​

机器之心
机器之心 · 2025-03-31T09:11:45Z

本文介绍了3FS的关键技术,包括Direct IO与硬件直接交互、RDMA实现低延迟数据传输、CRAQ处理读写请求、MGMTD管理集群、Meta存储元数据以及Storage服务管理SSD。客户端可通过FUSE或USRBIO接口使用,存储块分配基于文件大小。

3FS 关键技术和设计

陈少文的博客
陈少文的博客 · 2025-03-24T00:00:00Z

本文记录了DeepSeek 3FS的运维操作,包括基本概念、链和目标定义、参数设置、集群初始化、节点重建和扩容等,强调操作谨慎性和命令幂等性,提供详细命令示例和注意事项,以确保数据一致性和系统稳定性。

DeepSeek 3FS 运维指南

陈少文的博客
陈少文的博客 · 2025-03-20T00:00:00Z

本文介绍了如何容器化部署 DeepSeek 3FS 存储系统,包括编译镜像、部署 ClickHouse 和 FoundationDB 中间件,以及启动 Monitor、Admin CLI、MgmtD、Meta 和 Storage 服务。通过设置环境变量和启动参数,可以灵活启动不同服务,提供了具体步骤和脚本。

容器化部署 DeepSeek 3FS 存储系统

陈少文的博客
陈少文的博客 · 2025-03-15T00:00:00Z
3FS系列(一):存储新纪元的开篇——3FS编译调优与部署的工程实践

3FS(Fire-Flyer文件系统)是DeepSeek推出的高性能并行文件系统,专为AI工作负载设计。它于2025年开源,具有分离式架构和强一致性等特点。本文介绍了3FS的编译与部署过程,包括依赖安装、服务配置和监控设置,以帮助用户理解AGI时代的存储需求。

3FS系列(一):存储新纪元的开篇——3FS编译调优与部署的工程实践

机器之心
机器之心 · 2025-03-14T09:32:00Z

本文介绍了对 NVMe SSD 和 3FS 集群的性能测试。测试结果显示,3FS 在多线程大块读写操作中表现优越,单线程和多线程下的读写速率和 IOPS 数据均有良好表现。checkpoint 存储速度为 246.50 MB/s,模型加载时间为 10 至 12 分钟,总带宽约为 1~1.2 GBps。

3FS 的一些性能测试

陈少文的博客
陈少文的博客 · 2025-03-11T00:00:00Z

本文介绍了如何将3FS与Fluid对接,3FS是一个开源的分布式存储系统。通过Fluid,可以方便地管理存储、创建PVC并自动挂载。文章详细描述了编译3FS的builder镜像、制作ThinRuntime镜像及使用Fluid挂载3FS存储的步骤,并进行了性能测试,读取速度达到12GB/s,写入速度约为1.6GB/s。

在 Kubernetes 中使用 Fluid 挂载 3FS 存储及性能测试

陈少文的博客
陈少文的博客 · 2025-03-09T00:00:00Z
什么是DeepSeek 3FS

DeepSeek 3FS是一款高性能并行文件系统,专为AI训练和推理设计。它优化了数据访问速度和一致性,支持大规模模型训练和实时推理,具备强一致性和低延迟的特点。其开源发布提升了AI系统中的数据处理效率。

什么是DeepSeek 3FS

DEV Community
DEV Community · 2025-03-01T00:45:51Z

DeepSeek发布了新开源的并行文件系统3FS,利用SSD和RDMA网络实现高达6.6TiB/s的读取吞吐量,显著提升AI数据处理效率,简化了分布式应用开发,支持大规模训练和推理,设定了新的性能基准。

DeepSeek第五弹炸裂收官!开源全新并行文件系统,榨干SSD全部带宽

量子位
量子位 · 2025-02-28T04:38:33Z
DeepSeek开源周最后一天:让数据处理「从自行车升级到高铁」

DeepSeek 开源了 3FS(Fire-Flyer 文件系统),这是一种高性能并行文件系统,利用 SSD 和 RDMA 网络加速数据访问。在 180 节点集群中实现了 6.6 TiB/s 的读取吞吐量,支持多种 AI 应用场景,推动了 AI 数据处理的进步。

DeepSeek开源周最后一天:让数据处理「从自行车升级到高铁」

机器之心
机器之心 · 2025-02-28T02:53:08Z

DeepSeek 开源周发布的 3FS 是为 AI 高性能计算设计的分布式并行文件系统,优化大规模数据集处理,支持高 IOPS 和吞吐量,提升推理任务性能。

DeepSeek AI开源周5/5:开源高性能分布式并行文件系统3FS优化大规模数据集处理

蓝点网
蓝点网 · 2025-02-28T01:57:39Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码