Lakebase Postgres 采用计算与存储分离架构,数据历史存于对象存储,恢复时按时间戳创建分支,无需复制数据或重放 WAL。分支恢复仅需数秒,即使 100TB 数据库也一样,而传统托管 Postgres 恢复需数小时。该机制支持代理自动执行,可用于实时版本控制和撤销。
本文介绍Gitea的CDN化改造,核心是区分站点与分发:ROOT_URL指向Gitea自身,STATIC_URL_PREFIX指向CDN。推荐采用对象存储加CDN,将附件、LFS、归档迁至MinIO/S3,并开启SERVE_DIRECT=true,通过签名直链把大文件流量卸载到对象存储,源站仅返回302。私有资源严禁公共缓存,需依赖签名直链与CDN规则保障安全。改造前应备份配置与数据,并准备回滚方案。
MinIO 宣布将于 2026 年 9 月删除 Docker Hub 仓库,并已逐步停止社区版维护。作者冯若航将 MinIO 社区版 fork 为 Silo,借助两个 AI 模型对抗式协作,修复了 8 个 CVE 及十余项安全缺陷,同时保持 S3 接口与数据格式兼容。Silo 已被多个项目采用,为存量 MinIO 部署提供持续安全维护的替代方案。
MinIO 曾是自建 S3 的首选,但自2025年起逐步删除代码、进入维护模式并停止仓库维护,官方 Docker 镜像也已下架,旧版本因缺乏维护存在安全隐患。S3 已成为事实上的网盘标准,当前替代方案包括:Garage、RustFS、VersityGW 适合个人和小型自托管;SeaweedFS、Ceph、OpenStack Swift 适合中大型部署;MaxIOFS、liteio 值得关注;CORTX 已淘汰。
文章剖析湖仓Catalog本质:它只是替对象存储保管表指针,核心是一次单行CAS,底层多为PostgreSQL。随着S3支持条件写,独立Catalog技术必要性下降,却成新收费点。治理难题源于控制面不在数据路径上,撤权、行级安全等只能靠引擎自觉。作者主张元数据回归数据库,DuckLake、pg_lake即此路线。
Lakebase Postgres将Postgres的WAL日志作为持久化数据源,使对象存储成为事务数据库的底层存储。通过将日志视为数据库,数据文件作为派生缓存,系统支持按LSN寻址历史数据,实现秒级分支、即时恢复和低成本副本。这使代理工作负载能安全操作数据库,并支持LTAP分析,无需复制数据。
又拍云因未履行法院判决,被杭州拱墅区法院签发限高令,公司及法人刘亮被限制高消费。该公司近期有3起被执行案件,合计约899万元,其中至少一起未支付。网友猜测其经营困难,服务稳定性也出现问题,建议用户立即备份数据以防不测。
本文探讨Rook中对象存储与NFS的边界:CephObjectStore管理RGW网关生命周期,不涉及PVC语义;NFS CSI为实验特性,不支持升级,依赖CephFS而非RGW。强调区分协议,避免混淆排障,生产路径应选RBD/CephFS CSI,对象走RGW或外部S3。
数据库写入速度的“成功”定义决定数据安全:内存写入最快但断电即失,本地SSD需刷盘但丢主机风险高,对象存储慢但更稳,三副本最慢但最可靠。性能与可靠性是权衡,低延迟常以数据丢失风险为代价,选型时需细查“成功”标准。
Pigsty 社区将 MinIO 分支正式更名为 PGSTY SILO,已获 50 万次镜像拉取和 2000+ Star,被 RAGFlow、Loki 等项目采用。新版仅更改品牌商标,保留 API、环境变量和磁盘格式以兼容迁移,同时恢复双语控制台、修复六个安全漏洞(含 9.1 分高危),并发布官网与《Silo 宣言》,承诺永久 AGPLv3、无遥测、可重建。
Parquet 是一种列式二进制文件格式,其元数据页脚包含所有列块的字节偏移和统计信息,配合 S3 的 HTTP 范围请求,可实现精准读取,仅下载所需数据。它支持列式压缩、统计剪枝和自描述特性,在对象存储上高效运行。Iceberg 等湖仓格式依赖它实现双层数据跳过,相比 CSV、Avro 等格式,Parquet 在分析场景中优势显著。
本文讨论了对象存储在Milvus 2.6.x版本向量检索引擎中的应用。对象存储用于保存日志快照、索引文件和查询结果,布局从按字段拆分转向按段整合,以减少API调用次数和延迟。文章还探讨了数据处理路径、索引对象与数据对象的生命周期差异,以及与湖仓对象布局的对比,强调了优化存储布局的重要性。
Ceph 是一种统一的分布式存储系统,支持块存储、对象存储和文件存储。通过 cephadm 部署守护进程,支持多种拓扑结构。系统组件包括 MON、MGR 和 OSD,负责集群管理、数据存储和监控。Ceph 提供创建存储池、管理用户和监控集群健康状态等功能。
Vercel Sandbox 现在支持 FUSE,允许用户在运行的 Sandbox 中挂载远程存储和自定义文件系统,能够将 S3 存储桶或其他 FUSE 兼容驱动作为常规路径使用。这使得直接从对象存储流式传输大数据集成为可能,并能在多个 Sandbox 之间共享状态。
本文讨论了对象存储(如S3)与POSIX文件系统的关键差异,强调对象存储的强一致性、重命名操作的高成本及条件写的重要性。对象存储不支持原子重命名,导致重命名变为逐个复制和删除,增加了成本。此外,列出对象的代价随对象数量线性增长,影响数据处理效率。条件写(如If-None-Match)为原子提交提供了支点,解决了并发写入的问题。整体上,文章探讨了对象存储在数据湖架构中的局限性及其对表格式设计的影响。
本文讨论了对象存储中目录式分区表的缺陷,如并发写入导致的部分提交、查询规划成本高和缺乏快照隔离。为解决这些问题,开放表格式(如Iceberg、Delta、Hudi)提供了原子提交、快照隔离、文件级统计裁剪和schema演进等功能,确保数据一致性和高效查询。
pgEdge ColdFront 是一种新扩展,旨在将冷数据存储在对象存储中,以降低存储成本。它通过 DuckDB 实现高效查询,支持热数据和冷数据的无缝访问,并自动管理数据生命周期,简化数据访问,提升 PostgreSQL 的使用体验。目前该扩展仍在测试阶段,但有潜力改变数据存储管理方式。
小文件问题源于元数据与I/O开销远超数据本身,导致空间浪费和性能下降。文章从块分配、元数据、磁盘寻道和协议层分析成因,提出应用层打包、嵌入式存储引擎和对象存储等解决方案,并强调避免调小块大小等无效措施。
本文讨论了从soulteary/minio到OtterIO的转变,重点在于将一个fork项目整理为可维护的新项目。OtterIO专注于保留S3兼容的基本功能,删除不必要的功能以降低维护成本,并确保安全性。项目通过明确的版本发布和文档,帮助用户轻松使用和迁移,强调基础设施软件的诚实描述和适用范围。
fff是一个高性能文件搜索工具包,支持多种AI编程工具,具备快速且精准的搜索能力,核心功能包括内容和路径搜索、频次记忆及Git感知注解。driftwm是实验性Wayland混成器,提供无限画布体验。RustFS是高性能S3兼容对象存储,读写速度快且适合企业使用。abtop是监控AI编程Agent的工具,能够实时追踪状态。
完成下面两步后,将自动完成登录并继续当前操作。