小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
Deploying DeepSeek Fire-Flyer File System (3FS) Based on SoftRCoE

DeepSeek于2025年2月24日至28日举办“开源周”,发布Fire-Flyer文件系统(3FS),该系统优化了SSD和RDMA网络,支持AI训练与推理,提供高达6.6 TiB/s的读取吞吐量,简化数据管理,提升数据访问效率,适用于大规模集群。

Deploying DeepSeek Fire-Flyer File System (3FS) Based on SoftRCoE

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2025-05-26T23:30:00Z

3FS系列(三):从源码到实测:3FS USRBIO静态库的编译与性能体验

机器之心
机器之心 · 2025-05-09T07:55:17Z

3FS是为AI训练设计的分布式文件系统,其关键功能USRBIO允许用户态应用直接提交I/O请求,提升性能。通过零拷贝和异步I/O,USRBIO适合高吞吐量场景,如AI数据处理,利用共享内存和批处理I/O请求显著降低开销,特别适合PB级数据集的处理。

3FS Usrbio 简介

代码范
代码范 · 2025-04-06T04:45:15Z
​​3FS系列(二):3FS元数据性能深度拆解:那些在技术文档中找不到的实现细节​

九章云极对3FS分布式文件系统进行了元数据性能评测,发现其POSIX接口不完善,元数据性能较弱,但具备一定的扩展性。元数据一致性依赖于内核缓存超时,用户需调整缓存时长以提高一致性。尽管元数据表现一般,3FS在AI训练推理场景中仍表现良好。

​​3FS系列(二):3FS元数据性能深度拆解:那些在技术文档中找不到的实现细节​

机器之心
机器之心 · 2025-03-31T09:11:45Z

本文介绍了3FS的关键技术,包括Direct IO与硬件直接交互、RDMA实现低延迟数据传输、CRAQ处理读写请求、MGMTD管理集群、Meta存储元数据以及Storage服务管理SSD。客户端可通过FUSE或USRBIO接口使用,存储块分配基于文件大小。

3FS 关键技术和设计

陈少文的博客
陈少文的博客 · 2025-03-24T00:00:00Z

本文记录了DeepSeek 3FS的运维操作,包括基本概念、链和目标定义、参数设置、集群初始化、节点重建和扩容等,强调操作谨慎性和命令幂等性,提供详细命令示例和注意事项,以确保数据一致性和系统稳定性。

DeepSeek 3FS 运维指南

陈少文的博客
陈少文的博客 · 2025-03-20T00:00:00Z

本文介绍了如何容器化部署 DeepSeek 3FS 存储系统,包括编译镜像、部署 ClickHouse 和 FoundationDB 中间件,以及启动 Monitor、Admin CLI、MgmtD、Meta 和 Storage 服务。通过设置环境变量和启动参数,可以灵活启动不同服务,提供了具体步骤和脚本。

容器化部署 DeepSeek 3FS 存储系统

陈少文的博客
陈少文的博客 · 2025-03-15T00:00:00Z
3FS系列(一):存储新纪元的开篇——3FS编译调优与部署的工程实践

3FS(Fire-Flyer文件系统)是DeepSeek推出的高性能并行文件系统,专为AI工作负载设计。它于2025年开源,具有分离式架构和强一致性等特点。本文介绍了3FS的编译与部署过程,包括依赖安装、服务配置和监控设置,以帮助用户理解AGI时代的存储需求。

3FS系列(一):存储新纪元的开篇——3FS编译调优与部署的工程实践

机器之心
机器之心 · 2025-03-14T09:32:00Z

本文介绍了一个Python程序,用于生成指定大小的模拟checkpoint文件并测量存储速度。程序通过命令行参数设置文件大小和保存目录,利用PyTorch库生成随机数据并保存,最后输出存储速度。

一些关于3FS的性能测试

陈少文的博客
陈少文的博客 · 2025-03-11T00:00:00Z

本文介绍了如何将3FS与Fluid对接,3FS是一个开源的分布式存储系统。通过Fluid,可以方便地管理存储、创建PVC并自动挂载。文章详细描述了编译3FS的builder镜像、制作ThinRuntime镜像及使用Fluid挂载3FS存储的步骤,并进行了性能测试,读取速度达到12GB/s,写入速度约为1.6GB/s。

在 Kubernetes 中使用 Fluid 挂载 3FS 存储及性能测试

陈少文的博客
陈少文的博客 · 2025-03-09T00:00:00Z
什么是DeepSeek 3FS

DeepSeek 3FS是一款高性能并行文件系统,专为AI训练和推理设计。它优化了数据访问速度和一致性,支持大规模模型训练和实时推理,具备强一致性和低延迟的特点。其开源发布提升了AI系统中的数据处理效率。

什么是DeepSeek 3FS

DEV Community
DEV Community · 2025-03-01T00:45:51Z

DeepSeek 开源周发布的 3FS 是为 AI 高性能计算设计的分布式并行文件系统,优化大规模数据集处理,支持高 IOPS 和吞吐量,提升推理任务性能。

DeepSeek AI开源周5/5:开源高性能分布式并行文件系统3FS优化大规模数据集处理

蓝点网
蓝点网 · 2025-02-28T01:57:39Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码