小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI
开源版JuiceFS on Amazon EKS 上的实践

在AI时代,企业需构建高效的分布式存储系统以处理海量数据。本文比较了多个开源分布式文件系统,推荐JuiceFS作为最佳选择,适合云环境和AI训练。介绍了在AWS EKS上构建JuiceFS的实践,包括HostPath、CSI Driver和S3 Gateway三种方式,以满足高效的AI训练与推理需求。

开源版JuiceFS on Amazon EKS 上的实践

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2025-09-29T03:11:38Z

本文讨论了Fluid环境中的常见问题及其解决方案,包括环境变量设置、数据集异常、Fuse挂载问题、Worker缓存异常和速度波动。建议使用kubectl命令检查并删除异常资源,以确保系统正常运行。

Fluid 下的 Juicefs 企业版维护

陈少文的博客
陈少文的博客 · 2025-01-18T01:00:00Z
Conda与JuiceFS:提升人工智能开发环境的共享效率

Conda是一个流行的环境和包管理系统,支持创建虚拟环境,但在共享和重用方面存在挑战。JuiceFS作为云原生分布式文件系统,简化了数据和环境的共享,支持跨平台访问。本文介绍了Conda的基本知识、共享方法及JuiceFS的优势,以提高开发效率。

Conda与JuiceFS:提升人工智能开发环境的共享效率

DEV Community
DEV Community · 2024-12-20T07:12:21Z
海机器人在混合云架构中通过JuiceFS实现高可用性和简易操作

海机器人是一家专注于托盘式仓库机器人系统的技术公司,其模拟平台通过数字建模优化仓库解决方案,服务于全球40多个国家的1300多个系统。为应对数据增长,平台迁移至Kubernetes环境,并选择JuiceFS作为分布式文件系统,管理1100万个文件,日均写入6000多个文件。未来计划实现云端弹性扩展和高效的机器学习模拟。

海机器人在混合云架构中通过JuiceFS实现高可用性和简易操作

DEV Community
DEV Community · 2024-11-29T08:08:22Z

本文探讨了JuiceFS的数据和元数据设计,重点在于如何从对象存储和元数据恢复文件。通过扫描元数据引擎和对象存储,验证数据合法性,并介绍清理无效数据的工具和方法。最后,讨论了JuiceFS的文件大小限制及其不支持直接读取对象存储中的文件。

直观解读 JuiceFS 的数据和元数据设计(三):看山还是山(2024)

ARTHURCHIAO'S BLOG
ARTHURCHIAO'S BLOG · 2024-10-27T00:00:00Z

本文探讨了JuiceFS的数据和元数据设计,重点分析了对象存储中数据的组织方式。JuiceFS将文件分割为固定大小的chunk,并在每个chunk内创建slice以处理读写操作。元数据存储在不同引擎中,确保文件信息的完整性,从而实现高效的数据管理与恢复。

直观解读 JuiceFS 的数据和元数据设计(二):看山不是山(2024)

ARTHURCHIAO'S BLOG
ARTHURCHIAO'S BLOG · 2024-10-27T00:00:00Z

本文介绍了JuiceFS的数据和元数据设计,并搭建了一个简易的JuiceFS集群。主要组件包括元数据引擎(如TiKV)、对象存储(如MinIO)和JuiceFS客户端。用户通过创建和挂载JuiceFS卷,可以体验类似本地文件系统的操作,支持POSIX语义,便于数据管理。

直观解读 JuiceFS 的数据和元数据设计(一):看山是山(2024)

ARTHURCHIAO'S BLOG
ARTHURCHIAO'S BLOG · 2024-10-27T00:00:00Z

文章介绍了 JuiceFS 元数据的备份与恢复方法。元数据存储在如 TiKV 的引擎中,备份方式包括通过 JuiceFS 客户端扫描 volume 和直接从 TiKV 备份。JuiceFS 支持手动和自动备份,自动备份可设定间隔时间。大规模 volume 的备份可能影响业务稳定性。TiKV 备份可用 TiDB br 工具,但需调整以适应 JuiceFS。文章详细说明了备份和恢复的步骤及注意事项。

JuiceFS 元数据引擎五探:元数据备份与恢复(2024)

ARTHURCHIAO'S BLOG
ARTHURCHIAO'S BLOG · 2024-10-10T00:00:00Z

JuiceFS的元数据引擎考虑了元数据大小评估、限流和限速。元数据存储在TiKV regions中,可以通过pd-ctl和tikv-ctl查看和操作。JuiceFS的集群规模和元数据大小有关,小文件和大文件会影响TiKV engine size。JuiceFS还设计了上传和下载数据带宽的限速功能。限速配置保存在元数据平面的TiKV中,可以通过JuiceFS客户端重新加载配置。JuiceFS还考虑了元数据请求的限流设计,可以保护元数据引擎免受过多请求的影响。目前JuiceFS还没有社区版的元数据引擎保护能力,但可以通过扩展现有设计来实现客户端限流和服务端限流。

JuiceFS 元数据引擎四探:元数据大小评估、限流与限速的设计思考(2024)

ARTHURCHIAO'S BLOG
ARTHURCHIAO'S BLOG · 2024-09-22T00:00:00Z

JuiceFS的元数据引擎支持MVCC和GC机制,MVCC通过时间戳区分版本,GC用于清理旧版本。TiKV支持被动GC和半主动GC两种方式。JuiceFS客户端可定期更新PD中的gc safepoint来触发TiKV的GC操作。建议设置较小的GC间隔并由管理员定期进行GC操作,以避免TiKV的DB size暴增和region split失败。

JuiceFS 元数据引擎三探:从实践中学习 TiKV 的 MVCC 和 GC(2024)

ARTHURCHIAO'S BLOG
ARTHURCHIAO'S BLOG · 2024-09-22T00:00:00Z

本文介绍了JuiceFS元数据引擎在TiKV中的工作原理,包括创建JuiceFS volume、查看元数据、挂载和文件操作。元数据经过编码存储在TiKV中的不同region。JuiceFS还支持限速和配置变化监听。

JuiceFS 元数据引擎再探:开箱解读 TiKV 中的 JuiceFS 元数据(2024)

ARTHURCHIAO'S BLOG
ARTHURCHIAO'S BLOG · 2024-09-12T00:00:00Z

JuiceFS是一个元数据引擎,可以存储文件的元数据和数据。它可以选择使用etcd或TiKV作为元数据引擎,S3、Ceph等作为对象存储。JuiceFS使用TiKV作为元数据引擎,通过PD进行管理和数据存储。

JuiceFS 元数据引擎初探:高层架构、引擎选型、读写工作流(2024)

ARTHURCHIAO'S BLOG
ARTHURCHIAO'S BLOG · 2024-09-12T00:00:00Z

本文讨论了将元数据存储从Redis迁移到PGSQL的原因和步骤,PGSQL的成本低、性能可调节且存储上限更高。文章介绍了从Redis导出元数据和将元数据导入到PGSQL的过程,并进行了性能测试。

将 JuiceFS 元数据从 Redis 迁移到 PGSQL

陈少文的博客
陈少文的博客 · 2024-08-12T00:00:00Z
兼容并蓄 – JuiceFS 与 Amazon MemoryDB 夯实企业数据基石

本文介绍了JuiceFS,一种开放式文件管理系统,可应对不同行业的挑战,如汽车行业的自动驾驶场景。JuiceFS与亚马逊云科技的Amazon MemoryDB配合使用,提供高性能的存储和元数据管理。JuiceFS具有大数据量支持、高并发访问、低延迟和高吞吐的数据I/O优势。Amazon MemoryDB解决了Redis的持久性问题,提供可靠的数据存储。JuiceFS与Amazon MemoryDB的结合可以提供可靠、高效的数据存储服务,满足高并发、低延迟的需求。

兼容并蓄 – JuiceFS 与 Amazon MemoryDB 夯实企业数据基石

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2024-07-24T14:25:46Z

JuiceFS 是一个架设在对象存储(S3、Ceph、OSS 等)之上的分布式文件系统, 简单来说, 对象存储:只能通过 key/value 方式使用; 文件系统:日常看到的文件目录,能执行 ls/cat/find/truncate 等等之类的文件读写操作。 本文从 high-level 梳理了 JuiceFS CSI 方案中,当创建一个带 PV 的 pod 以及随后 pod 读写...

图解 JuiceFS CSI 工作流:K8s 创建带 PV 的 Pod 时,背后发生了什么(2024)

ARTHURCHIAO'S BLOG
ARTHURCHIAO'S BLOG · 2024-07-13T00:00:00Z

1. 关于 JuiceFS 的缓存 在主机上,预热的缓存是直接放在主机上的。 在集群中,分为两级缓存: Worker,提供集群级别共享的缓存 Fuse,提供仅当前节点级别的缓存 2. 使用 JuiceFS 客户端预热数据 需要注意的是在 Fuse 层预热,仅对当前节点有效,如果需要预热整个集群,需要在

如何预热 Juicefs 数据

陈少文的博客
陈少文的博客 · 2024-06-09T00:00:00Z

本文介绍了使用JuiceFS存储方案对接Elasticsearch的过程,包括三种存储方案和创建Elasticsearch所需的步骤。同时提供了查看JuiceFS文件目录和目录大小的方法。

使用 JuiceFS 存储 Elasticsearch 数据

陈少文的博客
陈少文的博客 · 2024-05-22T00:00:00Z

本文介绍了在Google Colab中使用JuiceFS持久化保存数据的方法,JuiceFS是一个高性能分布式文件系统,可以与Colab集成。通过安装JuiceFS客户端并挂载文件系统,可以在Colab中保存和重复使用数据。文章还提供了使用JuiceFS保存Fooocus模型和Chroma向量数据库的示例。JuiceFS的优势在于灵活安排资源降低成本。

在 Google Colab 中使用 JuiceFS

六虎
六虎 · 2024-03-22T09:52:41Z

本篇主要记录创建企业版 JuiceFS PVC 的脚本,方便快速配置。 1. 设置环境变量 1.1 基础配置 1 2 3 export NAMESPACE= export PVC_NAME= export JUICEFS_VOLUME= 1.2 JuiceFS 认证信息 1 2 3 export TOKEN= export ACCESS_KEY= export SECRET_KEY=...

在 Kubernetes 下创建后端为 JuiceFS 的 PVC(企业版)

陈少文的博客
陈少文的博客 · 2024-03-08T00:00:00Z

使用PostgreSQL搭建JuiceFS的步骤包括安装PG和JuiceFS、创建数据库和用户、创建s3的bucket和access key + secret key、执行juicefs format创建文件系统、编辑开机自启挂载文件系统。JuiceFS将文件的属性和数据分离存储,元数据存储在数据库中,数据存储在云存储中。JuiceFS可以方便地将s3等挂载到本地,实现文件备份等功能。

使用 PostgreSQL 搭建 JuiceFS

Jiajun的编程随想
Jiajun的编程随想 · 2024-03-07T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码