小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本文讨论了对象存储在Milvus 2.6.x版本向量检索引擎中的应用。对象存储用于保存日志快照、索引文件和查询结果,布局从按字段拆分转向按段整合,以减少API调用次数和延迟。文章还探讨了数据处理路径、索引对象与数据对象的生命周期差异,以及与湖仓对象布局的对比,强调了优化存储布局的重要性。

【向量检索引擎】对象存储上的 Segment 布局:快照、索引与寻址代价

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

Ceph 是一种统一的分布式存储系统,支持块存储、对象存储和文件存储。通过 cephadm 部署守护进程,支持多种拓扑结构。系统组件包括 MON、MGR 和 OSD,负责集群管理、数据存储和监控。Ceph 提供创建存储池、管理用户和监控集群健康状态等功能。

Ceph 架构与运维

陈少文的博客
陈少文的博客 · 2026-07-11T00:00:00Z
Vercel Sandbox 现在支持基于 FUSE 的文件系统

Vercel Sandbox 现在支持 FUSE,允许用户在运行的 Sandbox 中挂载远程存储和自定义文件系统,能够将 S3 存储桶或其他 FUSE 兼容驱动作为常规路径使用。这使得直接从对象存储流式传输大数据集成为可能,并能在多个 Sandbox 之间共享状态。

Vercel Sandbox 现在支持基于 FUSE 的文件系统

Vercel News
Vercel News · 2026-07-03T01:00:00Z

本文讨论了对象存储(如S3)与POSIX文件系统的关键差异,强调对象存储的强一致性、重命名操作的高成本及条件写的重要性。对象存储不支持原子重命名,导致重命名变为逐个复制和删除,增加了成本。此外,列出对象的代价随对象数量线性增长,影响数据处理效率。条件写(如If-None-Match)为原子提交提供了支点,解决了并发写入的问题。整体上,文章探讨了对象存储在数据湖架构中的局限性及其对表格式设计的影响。

【数据湖与开放表格式】对象存储语义与代价

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-06-30T00:00:00Z

本文讨论了对象存储中目录式分区表的缺陷,如并发写入导致的部分提交、查询规划成本高和缺乏快照隔离。为解决这些问题,开放表格式(如Iceberg、Delta、Hudi)提供了原子提交、快照隔离、文件级统计裁剪和schema演进等功能,确保数据一致性和高效查询。

【数据湖与开放表格式】表格式为什么存在

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-06-30T00:00:00Z
肖恩·托马斯:通往无底 PostgreSQL 的漫长道路

pgEdge ColdFront 是一种新扩展,旨在将冷数据存储在对象存储中,以降低存储成本。它通过 DuckDB 实现高效查询,支持热数据和冷数据的无缝访问,并自动管理数据生命周期,简化数据访问,提升 PostgreSQL 的使用体验。目前该扩展仍在测试阶段,但有潜力改变数据存储管理方式。

肖恩·托马斯:通往无底 PostgreSQL 的漫长道路

Planet PostgreSQL
Planet PostgreSQL · 2026-06-24T10:05:14Z
从 MinIO 到 OtterIO:整理一条 Apache 2.0 开源对象存储代码线

本文讨论了从soulteary/minio到OtterIO的转变,重点在于将一个fork项目整理为可维护的新项目。OtterIO专注于保留S3兼容的基本功能,删除不必要的功能以降低维护成本,并确保安全性。项目通过明确的版本发布和文档,帮助用户轻松使用和迁移,强调基础设施软件的诚实描述和适用范围。

从 MinIO 到 OtterIO:整理一条 Apache 2.0 开源对象存储代码线

苏洋博客
苏洋博客 · 2026-06-08T04:11:00Z

fff是一个高性能文件搜索工具包,支持多种AI编程工具,具备快速且精准的搜索能力,核心功能包括内容和路径搜索、频次记忆及Git感知注解。driftwm是实验性Wayland混成器,提供无限画布体验。RustFS是高性能S3兼容对象存储,读写速度快且适合企业使用。abtop是监控AI编程Agent的工具,能够实时追踪状态。

【Rust日报】2026-06-04 fff:专为 AI Agent 设计的最快文件搜索工具包

Rust.cc
Rust.cc · 2026-06-04T01:04:22Z
如何在您的测试服务器上自托管与S3兼容的对象存储(使用MinIO)并节省每月数百美元

本文介绍了如何使用Docker Compose自托管MinIO,支持HTTPS和预签名的上传/下载URL。自托管MinIO可以降低测试环境的存储成本,避免在AWS S3等服务上产生费用。文章详细说明了配置步骤,包括DNS设置、MinIO运行、HTTPS暴露、创建存储桶和访问密钥等,以确保安全和高效的文件管理。

如何在您的测试服务器上自托管与S3兼容的对象存储(使用MinIO)并节省每月数百美元

freeCodeCamp.org
freeCodeCamp.org · 2026-06-01T14:40:43Z
打破AI存储瓶颈

文章讨论了如何消除AI存储瓶颈,以提高GPU利用率。MinIO的联合创始人Garima Kapoor和Anand Babu Periasamy与NVIDIA合作,推动新的STX参考架构,强调现代AI基础设施正向S3兼容的对象存储发展。MinIO提供超大规模性能,统一边缘、核心和云环境中的企业数据。

打破AI存储瓶颈

Stack Overflow Blog
Stack Overflow Blog · 2026-05-22T07:40:00Z

Cloudflare R2 是一种高效、低成本的对象存储服务。使用 rclone 命令行工具可更高效地管理存储桶和对象,适合批量操作。通过配置 access_key_id 和 secret_access_key,可以创建、上传、下载和删除存储桶中的文件。

使用 rclone 命令行管理 Cloudflare R2 对象存储

了迹奇有没
了迹奇有没 · 2026-04-30T06:47:03Z
为什么Postgres在热路径上需要NVMe,而在其他地方使用S3

Postgres数据库在处理事务时面临存储延迟问题,尤其是与对象存储(如S3)结合使用时。高延迟的存储会影响用户响应时间,因此建议使用快速本地存储进行事务处理,而将对象存储用于归档和备份,以保持性能。Postgres的设计应避免将这两种存储混合在同一路径上。

为什么Postgres在热路径上需要NVMe,而在其他地方使用S3

The New Stack
The New Stack · 2026-04-17T13:00:00Z
Amazon S3 Files为全球最大的对象存储提供文件系统

AWS推出S3 Files功能,使S3存储桶可作为本地NFS文件系统访问,支持文件的创建、读取、更新和删除,旨在提升多个计算资源的协作访问效率。该功能基于Amazon EFS,提供低延迟和高性能的文件访问。

Amazon S3 Files为全球最大的对象存储提供文件系统

The New Stack
The New Stack · 2026-04-07T19:00:00Z
Cloudflare R2 对象存储白嫖指南:10G存储+免流量费,打造免费图床

Cloudflare R2 对象存储免收出口流量费,解决了图床流量盗刷问题。兼容 S3 API,提供免费额度,适合个人用户。用户可通过缓存、速率限制和防盗链等措施增强安全性,安心管理图片。

Cloudflare R2 对象存储白嫖指南:10G存储+免流量费,打造免费图床

游魂博客
游魂博客 · 2026-03-09T07:19:20Z

Cloudflare R2是一个兼容S3的对象存储服务,提供经济实惠的存储解决方案。通过Cloudflare Workers,可以创建代理以控制R2桶的访问,支持自定义域名和WAF规则,确保安全性。与其他云存储相比,R2更便宜且不收取数据出口费用。

Cloudflare Worker 代理 R2 存储桶访问

Lei Mao's Log Book
Lei Mao's Log Book · 2026-03-06T08:00:00Z
FAST'26 论文速递 | ACOS: 苹果 EB 级地理分布式对象存储

ACOS是苹果的地理分布式对象存储系统,支持海量数据存储与高效请求处理。通过本地与区域双重复制机制,优化了成本、可用性与持久性。ACOS 2.0引入XOR编码,降低复制因子至1.50,提升系统扩展性与性能,成功应对数据增长与故障挑战。

FAST'26 论文速递 | ACOS: 苹果 EB 级地理分布式对象存储

Steins;Lab
Steins;Lab · 2026-03-02T16:42:03Z
当用户是AI代理时,数据库会发生什么

随着AI代理的崛起,传统数据库设计需要优化,以支持快速创建、拆除、对象存储和强隔离。企业应选择能够满足这些需求的基础设施,以在AI主导的环境中保持竞争力。

当用户是AI代理时,数据库会发生什么

The New Stack
The New Stack · 2026-02-25T13:00:41Z

SwanLake 是基于 Rust 的 DuckDB 扩展,旨在将其转变为可部署的分析服务。它支持跨语言的 Flight SQL 接口,提供会话管理和运维监控,优化对象存储性能,提升可观测性和易用性。

SwanLake: An Arrow Flight SQL Data Lake Service Based on DuckDB + DuckLake

Wang Fenjin's Blog
Wang Fenjin's Blog · 2026-02-21T00:00:00Z

devfs是一个开源的S3兼容文件服务器,旨在提供低成本的本地开发和测试环境,支持常用S3 API,适合团队和CI使用,具备Docker Compose一键启动和Web UI可视化功能。

Devfs 一个基于RUST的兼容s3的本地开发用对象存储

Rust.cc
Rust.cc · 2026-02-17T06:05:26Z
可写的VFS(虚拟文件系统)

Litestream是一个开源工具,用于将SQLite数据库与S3兼容的对象存储同步,防止数据丢失。它通过动态库VFS实现高效查询和数据持久化,支持Sprites的快速启动和写入操作。

可写的VFS(虚拟文件系统)

The Fly Blog
The Fly Blog · 2026-01-29T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码