Silo发布首个正式S3服务器版本,修复了继承自MinIO的高危对象锁定权限绕过漏洞:有凭证者可在无权限时绕过GOVERNANCE保留策略,缩短或取消保护期。更新加强了权限检查、防止覆盖受保护对象,并将Object Lock回归测试纳入发布流程,同时升级至Go 1.27.2。官方建议启用Object Lock的备份用户尽快升级所有写入节点。
Vercel Marketplace 现支持在项目面板内直接创建和连接 Amazon S3 资源。集成会自动将连接信息写入环境变量,并使用短期 OIDC 凭证认证,无需存储静态 AWS 密钥。S3 也已接入 v0,可自动配置并生成代码。用户可通过 Vercel 新建 AWS 账户,获得 100 美元、为期六个月的积分,或关联现有账户管理用量。
Hardwood 1.1.0.Beta2 发布,该开源库用于读写 Apache Parquet 文件。新版增强写入器,支持显式控制行组边界、跳过坏记录、列与偏移索引及布隆过滤器;读取器大幅提速,优化 S3 远程读取、查询执行和字典编码访问;新增页脚缓存 API 和按字典 ID 访问。共解决 165 个问题。
一个21块钱的ESP32-S3开发板,居然做出了AI语音挂件! 花21块钱买一块ESP32-S3开发板M5StickS3,搭配谷歌Gemini Live语音API和开源Hermes Agent智能体,再跑一个在家里的Python中继服务,就能做出一个口袋里的AI语音助手。这东西叫Kai,钥匙扣大小,能听你说、能跟你聊、能查潮汐表、定提醒、做背景研究。Meta砸巨额资金做的Muse Charm
Cursor has introduced Continuity, a Git storage architecture that uses an S3 backed write ahead log as the source of truth. The design turns local NVMe repositories into warm caches and separates...
Amazon S3表类数据存储服务现已支持Apache Iceberg V3全部数据类型,包括变体、纳秒时间戳、几何、地理位置和未知类型,以及删除向量和行谱系。用户可新建V3表或从V2升级,升级不可逆。V3以删除向量替代位置删除文件,提升行级操作效率,并原生支持半结构化和地理空间数据。新数据类型需Spark 4.0以上引擎,且仅支持Parquet格式。该功能已在所有支持区域推出,不额外收费。
Amazon S3 Vectors 新增元数据预筛选功能,在相似度搜索前先按元数据过滤,提升筛选查询召回率,高选择性场景下匹配量可达原先5倍。支持 $startsWith 前缀匹配,每向量2KB元数据,单查询最多100个约束,无额外费用且无需重新摄取。适用于法律、金融、媒体及智能体等场景,现有索引可通过 UpdateIndexMode 启用。
DuckDB 读写 S3 上的 Parquet 文件需要 AWS 凭证。除硬编码密钥外,可用 `PROVIDER credential_chain` 让 DuckDB 按 AWS SDK 顺序自动查找凭证:环境变量、IRSA Web Identity、SSO 配置文件、ECS 任务角色、EC2 实例元数据,取首个可用者。该逻辑位于 aws 扩展,也适用于 GCS 和 R2。IRSA 通过注解 ServiceAccount 注入角色与令牌,由 kubelet 和 SDK 自动轮换。DuckLake 本地开发用静态密钥,生产用凭证链。
本文介绍如何使用 CloudFormation 模板在 AWS 上部署 DuckLake。DuckLake 需要 S3 存储 Parquet 数据,并使用 Aurora PostgreSQL 作为元数据目录。该模板会创建 KMS 密钥、S3 存储桶(含强制 HTTPS 和加密的桶策略)、Aurora 集群与实例、IAM 策略和角色,并通过 OIDC 实现免静态密钥访问。CloudFormation 无需状态文件,失败时自动回滚,一条命令即可完成部署。
MinIO 曾是自建 S3 的首选,但自2025年起逐步删除代码、进入维护模式并停止仓库维护,官方 Docker 镜像也已下架,旧版本因缺乏维护存在安全隐患。S3 已成为事实上的网盘标准,当前替代方案包括:Garage、RustFS、VersityGW 适合个人和小型自托管;SeaweedFS、Ceph、OpenStack Swift 适合中大型部署;MaxIOFS、liteio 值得关注;CORTX 已淘汰。
该指南提供了一套系统的AWS成本优化方法,涵盖监控、告警、服务优化和30天冲刺计划。通过设置CUR与Athena查询、构建仪表盘、实施三级告警,并针对EC2、S3、RDS等制定具体策略,帮助团队精准定位浪费、降低成本,实现15-25%的月度节省。
Onur Satici explains how Vortex, an open-source columnar file format under the Linux Foundation, revolutionizes high-throughput data loading. He details how cascading lightweight encodings,...
Security researchers at Wiz recently examined S3-compatible object storage services across six popular neoclouds, revealing significant security gaps compared to Amazon S3. While S3 has become the...
pgColumnar发布第二个alpha版本,新增只读Apache Iceberg支持、S3对象存储读写、维护守护进程,并改进统计、规划器、性能与安全。原生格式不变,但需执行ALTER EXTENSION升级命令,否则读取旧表会报错。
RGW是Ceph的S3/Swift对象网关,将HTTP请求映射到RADOS操作。核心机制包括:head/tail对象模型(小对象内联,大对象分条)、bucket index的OMAP存储与动态reshard、multipart上传的manifest引用、版本控制的delete marker、GC异步删除、多站点bi-log同步。主要瓶颈是bucket index的LIST性能与GC积压,S3 Select仅做RGW侧过滤,无法下推OSD。
Canva redesigned session revocation infrastructure to support 100M active sessions while reducing database lookups. The architecture uses Amazon S3 for durable revocation records and distributes...
Pigsty 社区将 MinIO 分支正式更名为 PGSTY SILO,已获 50 万次镜像拉取和 2000+ Star,被 RAGFlow、Loki 等项目采用。新版仅更改品牌商标,保留 API、环境变量和磁盘格式以兼容迁移,同时恢复双语控制台、修复六个安全漏洞(含 9.1 分高危),并发布官网与《Silo 宣言》,承诺永久 AGPLv3、无遥测、可重建。
AWS 上周发布多项更新:Bedrock 中 OpenAI GPT-5.6 模型价格大幅下调,最高降 80%;CloudWatch 推出托管式 Prometheus 收集器,简化指标监控;AWS Interconnect 正式支持与 Oracle 云的多云连接;IAM Identity Center 扩展多区域支持;S3 表类支持 Iceberg V3 Variant 数据类型。另附 AWS CLI 安装、Kimi K3 部署等指南及活动预告。
Parquet 是一种列式二进制文件格式,其元数据页脚包含所有列块的字节偏移和统计信息,配合 S3 的 HTTP 范围请求,可实现精准读取,仅下载所需数据。它支持列式压缩、统计剪枝和自描述特性,在对象存储上高效运行。Iceberg 等湖仓格式依赖它实现双层数据跳过,相比 CSV、Avro 等格式,Parquet 在分析场景中优势显著。
本文介绍如何将Amazon QuickSight日志持续投递至S3,用于审计与长期留存。支持五类日志(聊天、反馈、用量、索引、文件同步),通过CloudWatch Logs V2 delivery实现,无需创建Log Group。提供CloudFormation和AWS CLI两种部署方式,涵盖权限配置、加密、排障及清理步骤,并强调安全合规与最小权限原则。
完成下面两步后,将自动完成登录并继续当前操作。