Dragonfly支持轻量级部署模式,移除Manager、MySQL和Redis,仅用Scheduler协调,通过ConfigMap管理动态配置,利用Headless Service实现Scheduler发现。该模式适合单集群或CI/CD场景,可用Helm一键安装,支持P2P分发、预加热及应用工件注入。相比完整架构,轻量模式简化运维,但缺少Web控制台和OpenAPI集成。
Dragonfly v2.5.0发布,新增从Hugging Face和ModelScope直接下载模型的功能,支持Kubernetes的Webhook注入,提供下载控制的黑名单功能,增强速率限制和命令行工具dfctl,优化下载效率和HTTP处理,修复多个重要bug。
Dragonfly是CNCF毕业项目,提供基于P2P的文件分发系统,旨在提高大规模AI模型的分发效率和降低成本。通过hf://和modelscope://协议,Dragonfly能高效下载Hugging Face和ModelScope的模型,显著减少网络流量和时间。它将文件分割并在节点间共享,优化多节点GPU集群的模型部署。
Vislink Technologies推出DragonFly V 5G双调制解调器,增强微型视频发射器平台,支持双蜂窝和Wi-Fi连接,提升传输稳定性,适用于小型摄像系统,支持1080p视频格式,便于广播工作流程集成。
云原生计算基金会(CNCF)宣布开源图像和文件分发系统Dragonfly已达到毕业状态,标志着其生产就绪和行业广泛采用。Dragonfly利用P2P加速技术,提升了容器图像和大文件的分发效率,自2017年由阿里巴巴开源以来,经历了社区成长和技术演进,成为现代分布式系统的重要组成部分。
Dragonfly v2.4.0发布,新增负载感知调度算法、Vortex协议支持P2P文件传输、请求SDK,简化Kubernetes多集群部署。优化管理器和调度器性能,支持IP优先选择、任务ID计算、HTTP 307重定向缓存。Go客户端被Rust客户端替代,增强数据完整性验证和恢复可靠性。
Dragonfly项目是一个开源的点对点图像和文件分发系统,已从云原生计算基金会的孵化项目毕业。自2018年起,该技术在生产环境中表现良好,支持Kubernetes,广泛应用于大规模AI工作负载和边缘计算。通过P2P机制加速容器镜像分发,显著提高了效率。
Dragonfly成功毕业于CNCF,成为云原生开源图像和文件分发系统,广泛应用于容器和AI工作负载,提升了数据分发的效率和安全性,已被阿里巴巴、滴滴等大企业采用。
Dragonfly v2.3.0发布,新增持久缓存任务、资源搜索和Vortex协议,提升大文件分发效率,优化调度算法,增强安全性及审计日志功能,支持硬链接下载和OpenTelemetry追踪。
本文介绍了如何部署NFS存储和Dragonfly。首先,在存储节点上安装并配置NFS服务,创建共享目录并重启服务。然后,在所有节点上配置NFS客户端。接着,添加Helm仓库并安装Dragonfly,配置相关参数和缓存目录,最后调整Client超时设置以支持大镜像下载。
Dragonfly通过P2P技术查找和下载资源,Spegel提供HTTP服务和镜像代理,利用P2P进行服务发现。Nydus优化镜像下载,减少带宽浪费。项目文档不足,启动复杂。
云原生计算基金会发布了Dragonfly 2.2.0版本,重写了客户端以提升内存安全性和性能,新增带宽限制和“吸血模式”。该版本优化了小I/O操作性能,并增强了与Harbor的集成,提高了数据传输效率。
Dragonfly v2.2.0发布,新增Rust编写的客户端,支持带宽限制和leeching功能,优化小I/O处理性能,增强与Harbor的集成,支持多架构镜像预热,引入分布式速率限制和mTLS,推荐使用Prometheus监控。社区定义OCI模型规范,支持在Hugging Face Hub加速分发AI模型。
Dragonfly DB是Redis的替代品,以高操作速率而闻名。它是多线程的,可以垂直扩展,使用C++编写,并使用Boost.Fiber库在多个进程上执行。Dragonfly DB的架构是“无共享”的,每个数据块都有自己的堆数据结构来独立执行。使用消息总线和连接池解决了多访问架构中的互斥锁问题。这种架构使得Dragonfly DB更快、更高效。
Griffon v2 和 Monkey 等多模态模型通过提高图像分辨率和生成多级描述,增强了视觉和语言理解能力。InfiMM-HD 针对高分辨率图像处理展现了高效性和鲁棒性。LLaVA-HR 和 LLaVA-UHD 在视觉识别任务中表现优异,而 Bunny 模型则通过灵活的基础模块实现了更小但更强大的性能。TextHawk 专注于文档任务,展现了细粒度视觉感知的优势。这些研究强调了多模态模型在各类任务中的有效性和应用潜力。
Dragonfly 是一种内存数据存储,能够替代 Redis 和 Memcached,提供 25 倍的吞吐量和更高的缓存命中率,同时节省高达 80% 的资源。它完全兼容 Redis 和 Memcached API,支持纵向扩展和高效内存利用。
本文介绍了使用JuiceFS进行性能测试的步骤和结果,包括本地磁盘、社区版JuiceFS、企业版JuiceFS和社区版JuiceFS与Dragonfly的组合。测试结果显示,企业版JuiceFS在首次读取速度方面表现优异,而Dragonfly对JuiceFS的小文件读写性能有明显提升。总体而言,企业版JuiceFS在各方面都有明显的加速效果。文章还提供了关于JuiceFS企业版的部署和选择的建议。
JuiceFS用户使用nvidia-container-runtime需关注Dragonfly安装问题和磁盘空间不足导致的告警。清空相关文件解决问题。讨论了log.json日志增长问题和解决方案,包括清理超过100M的log.json文件和修改nvidia-container-runtime的日志级别。
Dragonfly是一个P2P分发网络,用于分发镜像和文件,支持AI业务中的推理和训练。部署拓扑包括LB、VM、Peer节点,使用节点配置集成Docker、Containerd和Nydus。网络传输限制是构建高性能P2P分发网络的重要考虑因素。
1. Dragonfly 简介 Dragonfly 的相关文档在社区 https://d7y.io/zh/docs/ 已经有详细说明。这里只是简单介绍一下,V2 版本的主要组件: Manager,提供 UI 界面、用户管理、集群监控、任务管理等功能 Scheduler,调度 Peer 之间的流量、提供预热等功能 Seed Peer,回源节点,用于从源站(Har
完成下面两步后,将自动完成登录并继续当前操作。