Onur Satici explains how Vortex, an open-source columnar file format under the Linux Foundation, revolutionizes high-throughput data loading. He details how cascading lightweight encodings,...
Security researchers at Wiz recently examined S3-compatible object storage services across six popular neoclouds, revealing significant security gaps compared to Amazon S3. While S3 has become the...
pgColumnar发布第二个alpha版本,新增只读Apache Iceberg支持、S3对象存储读写、维护守护进程,并改进统计、规划器、性能与安全。原生格式不变,但需执行ALTER EXTENSION升级命令,否则读取旧表会报错。
RGW是Ceph的S3/Swift对象网关,将HTTP请求映射到RADOS操作。核心机制包括:head/tail对象模型(小对象内联,大对象分条)、bucket index的OMAP存储与动态reshard、multipart上传的manifest引用、版本控制的delete marker、GC异步删除、多站点bi-log同步。主要瓶颈是bucket index的LIST性能与GC积压,S3 Select仅做RGW侧过滤,无法下推OSD。
Canva redesigned session revocation infrastructure to support 100M active sessions while reducing database lookups. The architecture uses Amazon S3 for durable revocation records and distributes...
AWS 上周发布多项更新:Bedrock 中 OpenAI GPT-5.6 模型价格大幅下调,最高降 80%;CloudWatch 推出托管式 Prometheus 收集器,简化指标监控;AWS Interconnect 正式支持与 Oracle 云的多云连接;IAM Identity Center 扩展多区域支持;S3 表类支持 Iceberg V3 Variant 数据类型。另附 AWS CLI 安装、Kimi K3 部署等指南及活动预告。
Parquet 是一种列式二进制文件格式,其元数据页脚包含所有列块的字节偏移和统计信息,配合 S3 的 HTTP 范围请求,可实现精准读取,仅下载所需数据。它支持列式压缩、统计剪枝和自描述特性,在对象存储上高效运行。Iceberg 等湖仓格式依赖它实现双层数据跳过,相比 CSV、Avro 等格式,Parquet 在分析场景中优势显著。
本文介绍如何将Amazon QuickSight日志持续投递至S3,用于审计与长期留存。支持五类日志(聊天、反馈、用量、索引、文件同步),通过CloudWatch Logs V2 delivery实现,无需创建Log Group。提供CloudFormation和AWS CLI两种部署方式,涵盖权限配置、加密、排障及清理步骤,并强调安全合规与最小权限原则。
Databricks推出新的S3外部位置创建流程,简化连接Amazon S3与Unity Catalog的步骤。用户只需指定存储桶和访问级别,通过AWS IAM临时授权,即可自动配置资源,无需手动编写IAM策略或部署CloudFormation模板。此流程减少配置错误,遵循最小权限原则,支持LTAP架构,提升数据治理效率。
本文介绍如何利用Amazon Macie、Step Functions和EventBridge构建自动化PII检测管道。该方案通过事件驱动架构,在文件上传至S3时自动触发扫描,结合自定义数据标识符识别标准及特定业务敏感数据,生成CSV/JSON合规报告,并通过SNS实时告警高风险发现。文章详细说明了部署步骤、三桶架构设计及生产环境加固建议。
AWS上周发布多项更新:Lambda新增一键设置提示,为编程代理配置无服务器技能和MCP服务器;Bedrock上线OpenAI GPT-5.6系列模型;S3支持同日转换至IA存储类;Lambda实现自主管理代码存储;Cognito支持导入带密码哈希的用户。此外,团队访问首尔与AWSKRUG社区交流,并报告Cost Explorer账单显示问题已解决。
本文介绍了TimescaleDB,这是一款开源的时间序列数据库,支持实时分析和事件处理,适用于初创企业和大型企业,提供自管理和云端解决方案。
某零售品牌因Hudi版本老化和性能问题,迁移至Amazon S3 Tables。采用混合策略,DW层使用增量MERGE,DM层全量覆盖写Parquet。迁移后,核心作业性能提升8倍,ETL成本降低72%。通过新旧并行迁移,确保零停机和数据正确性。
Amazon Bedrock AgentCore 提供三种持久化文件系统:Managed Session Storage、Amazon EFS 和 S3 Files,分别适用于个人私有数据、多方共享和写少读多的场景。用户可根据需求选择合适的存储方案。
AWS recently announced Amazon S3 Annotations, a feature that lets teams attach rich, searchable context such as summaries, classifications, compliance data, or AI-generated insights directly to S3...
亚马逊S3推出“注释”功能,允许用户为对象添加最多1000个命名注释,支持多种格式(如JSON、XML等)。该功能可实时修改,便于AI代理和自主工作流使用,解决了复杂元数据管理问题,提升数据处理效率。用户可通过API轻松添加、检索和删除注释,适用于各行业的多种应用场景。
本文对比了在EKS上使用Mountpoint S3和S3 Files访问S3数据的差异。Mountpoint S3是基于FUSE的轻量客户端,优化高吞吐量,但不支持完整POSIX语义;S3 Files通过NFS协议支持完整文件系统语义。针对AI场景,S3 Files在小文件访问和随机读方面表现优越,而Mountpoint S3在大文件顺序读上更具优势。
Waylens 将其 OpenClaw 多智能体平台从多台 Amazon EC2 迁移至 Amazon EKS 和 S3 Files,提升了运维效率。改造后,Agent 自行处理升级和故障恢复,工程师仅在关键决策时介入。通过使用 CRD 和 Operator,Waylens 实现了统一管理和数据共享,显著减少了运维负担,提升了团队的工作效率。
本文介绍了如何使用Docker Compose自托管MinIO,支持HTTPS和预签名的上传/下载URL。自托管MinIO可以降低测试环境的存储成本,避免在AWS S3等服务上产生费用。文章详细说明了配置步骤,包括DNS设置、MinIO运行、HTTPS暴露、创建存储桶和访问密钥等,以确保安全和高效的文件管理。
自2026年以来,作者深入学习ESP32-S3嵌入式开发,成功集成阿里云多模态SDK。通过学习,作者认识到嵌入式系统的复杂性与乐趣,强调硬件与软件的紧密联系,以及开发中资源与调度的平衡。
完成下面两步后,将自动完成登录并继续当前操作。