小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ

Onur Satici explains how Vortex, an open-source columnar file format under the Linux Foundation, revolutionizes high-throughput data loading. He details how cascading lightweight encodings,...

Presentation: From S3 to GPU in One Copy: Rethinking Data Loading for ML Training

InfoQ InfoQ · 2026-09-04T11:00:00Z

Security researchers at Wiz recently examined S3-compatible object storage services across six popular neoclouds, revealing significant security gaps compared to Amazon S3. While S3 has become the...

S3 Compatibility Doesn't Guarantee S3-Level Security

InfoQ InfoQ · 2026-08-21T08:41:00Z
Joshua Drake:PgColumnar 1.0 Alpha2 发布

pgColumnar发布第二个alpha版本,新增只读Apache Iceberg支持、S3对象存储读写、维护守护进程,并改进统计、规划器、性能与安全。原生格式不变,但需执行ALTER EXTENSION升级命令,否则读取旧表会报错。

Joshua Drake:PgColumnar 1.0 Alpha2 发布

Planet PostgreSQL Planet PostgreSQL · 2026-08-18T16:08:00Z

RGW是Ceph的S3/Swift对象网关,将HTTP请求映射到RADOS操作。核心机制包括:head/tail对象模型(小对象内联,大对象分条)、bucket index的OMAP存储与动态reshard、multipart上传的manifest引用、版本控制的delete marker、GC异步删除、多站点bi-log同步。主要瓶颈是bucket index的LIST性能与GC积压,S3 Select仅做RGW侧过滤,无法下推OSD。

【Ceph RADOS】RGW:索引池与数据池、S3 到 RADOS 的映射边界

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-14T00:00:00Z

Canva redesigned session revocation infrastructure to support 100M active sessions while reducing database lookups. The architecture uses Amazon S3 for durable revocation records and distributes...

Canva Shares S3 Based Architecture for Session Revocation across Hundreds of Millions of Sessions

InfoQ InfoQ · 2026-08-10T14:14:00Z
AWS 一周综述:Bedrock 中的 GPT 模型降价、CloudWatch 托管的 Prometheus 指标收集器等(2026 年 8 月 3 日)

AWS 上周发布多项更新:Bedrock 中 OpenAI GPT-5.6 模型价格大幅下调,最高降 80%;CloudWatch 推出托管式 Prometheus 收集器,简化指标监控;AWS Interconnect 正式支持与 Oracle 云的多云连接;IAM Identity Center 扩展多区域支持;S3 表类支持 Iceberg V3 Variant 数据类型。另附 AWS CLI 安装、Kimi K3 部署等指南及活动预告。

AWS 一周综述:Bedrock 中的 GPT 模型降价、CloudWatch 托管的 Prometheus 指标收集器等(2026 年 8 月 3 日)

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2026-08-03T03:28:59Z

Parquet 是一种列式二进制文件格式,其元数据页脚包含所有列块的字节偏移和统计信息,配合 S3 的 HTTP 范围请求,可实现精准读取,仅下载所需数据。它支持列式压缩、统计剪枝和自描述特性,在对象存储上高效运行。Iceberg 等湖仓格式依赖它实现双层数据跳过,相比 CSV、Avro 等格式,Parquet 在分析场景中优势显著。

为什么选择 Parquet,以及它为何在 S3 上表现如此出色

Kimserey Lam’s website, Software Development blog posts, videos and tutorials Kimserey Lam’s website, Software Development blog posts, videos and tutorials · 2026-08-01T05:00:00Z
将 Amazon Quick 日志投递至 Amazon S3:审计与长期留存指南

本文介绍如何将Amazon QuickSight日志持续投递至S3,用于审计与长期留存。支持五类日志(聊天、反馈、用量、索引、文件同步),通过CloudWatch Logs V2 delivery实现,无需创建Log Group。提供CloudFormation和AWS CLI两种部署方式,涵盖权限配置、加密、排障及清理步骤,并强调安全合规与最小权限原则。

将 Amazon Quick 日志投递至 Amazon S3:审计与长期留存指南

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2026-07-29T08:33:27Z
使用委派IAM权限将Amazon S3数据连接到Databricks

Databricks推出新的S3外部位置创建流程,简化连接Amazon S3与Unity Catalog的步骤。用户只需指定存储桶和访问级别,通过AWS IAM临时授权,即可自动配置资源,无需手动编写IAM策略或部署CloudFormation模板。此流程减少配置错误,遵循最小权限原则,支持LTAP架构,提升数据治理效率。

使用委派IAM权限将Amazon S3数据连接到Databricks

Databricks Databricks · 2026-07-23T15:30:00Z
使用Amazon Macie和Step Functions大规模自动化自定义PII检测

本文介绍如何利用Amazon Macie、Step Functions和EventBridge构建自动化PII检测管道。该方案通过事件驱动架构,在文件上传至S3时自动触发扫描,结合自定义数据标识符识别标准及特定业务敏感数据,生成CSV/JSON合规报告,并通过SNS实时告警高风险发现。文章详细说明了部署步骤、三桶架构设计及生产环境加固建议。

使用Amazon Macie和Step Functions大规模自动化自定义PII检测

AWS Architecture Blog AWS Architecture Blog · 2026-07-22T13:30:26Z
AWS 每周综述:一键 Lambda 设置提示、Bedrock 上的 OpenAI GPT-5.6 模型等(2026 年 7 月 20 日)

AWS上周发布多项更新:Lambda新增一键设置提示,为编程代理配置无服务器技能和MCP服务器;Bedrock上线OpenAI GPT-5.6系列模型;S3支持同日转换至IA存储类;Lambda实现自主管理代码存储;Cognito支持导入带密码哈希的用户。此外,团队访问首尔与AWSKRUG社区交流,并报告Cost Explorer账单显示问题已解决。

AWS 每周综述:一键 Lambda 设置提示、Bedrock 上的 OpenAI GPT-5.6 模型等(2026 年 7 月 20 日)

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2026-07-20T01:18:28Z
S3赢得了写入路径,现在的争夺是读取路径

本文介绍了TimescaleDB,这是一款开源的时间序列数据库,支持实时分析和事件处理,适用于初创企业和大型企业,提供自管理和云端解决方案。

S3赢得了写入路径,现在的争夺是读取路径

Timescale Blog Timescale Blog · 2026-07-15T17:45:18Z
使用 Amazon S3 Tables 优化数据湖:从Hudi 迁移到托管 Iceberg

某零售品牌因Hudi版本老化和性能问题,迁移至Amazon S3 Tables。采用混合策略,DW层使用增量MERGE,DM层全量覆盖写Parquet。迁移后,核心作业性能提升8倍,ETL成本降低72%。通过新旧并行迁移,确保零停机和数据正确性。

使用 Amazon S3 Tables 优化数据湖:从Hudi 迁移到托管 Iceberg

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2026-07-08T01:30:30Z
Amazon Bedrock AgentCore 数据持久化文件系统:Session Storage 和 Amazon EFS / S3 Files

Amazon Bedrock AgentCore 提供三种持久化文件系统:Managed Session Storage、Amazon EFS 和 S3 Files,分别适用于个人私有数据、多方共享和写少读多的场景。用户可根据需求选择合适的存储方案。

Amazon Bedrock AgentCore 数据持久化文件系统:Session Storage 和 Amazon EFS / S3 Files

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2026-07-07T06:16:23Z

AWS recently announced Amazon S3 Annotations, a feature that lets teams attach rich, searchable context such as summaries, classifications, compliance data, or AI-generated insights directly to S3...

AWS Introduces Amazon S3 Annotations

InfoQ InfoQ · 2026-07-05T08:55:00Z
Amazon S3 注释:将丰富的可查询上下文直接附加到您的对象

亚马逊S3推出“注释”功能,允许用户为对象添加最多1000个命名注释,支持多种格式(如JSON、XML等)。该功能可实时修改,便于AI代理和自主工作流使用,解决了复杂元数据管理问题,提升数据处理效率。用户可通过API轻松添加、检索和删除注释,适用于各行业的多种应用场景。

Amazon S3 注释:将丰富的可查询上下文直接附加到您的对象

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2026-06-16T10:17:46Z
Mountpoint S3 与 S3 Files 在 EKS 上的实战对比

本文对比了在EKS上使用Mountpoint S3和S3 Files访问S3数据的差异。Mountpoint S3是基于FUSE的轻量客户端,优化高吞吐量,但不支持完整POSIX语义;S3 Files通过NFS协议支持完整文件系统语义。针对AI场景,S3 Files在小文件访问和随机读方面表现优越,而Mountpoint S3在大文件顺序读上更具优势。

Mountpoint S3 与 S3 Files 在 EKS 上的实战对比

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2026-06-15T03:39:58Z
从 N 台 EC2 到 Amazon EKS + Amazon S3 Files:Waylens 的 OpenClaw 多智能体平台改造

Waylens 将其 OpenClaw 多智能体平台从多台 Amazon EC2 迁移至 Amazon EKS 和 S3 Files,提升了运维效率。改造后,Agent 自行处理升级和故障恢复,工程师仅在关键决策时介入。通过使用 CRD 和 Operator,Waylens 实现了统一管理和数据共享,显著减少了运维负担,提升了团队的工作效率。

从 N 台 EC2 到 Amazon EKS + Amazon S3 Files:Waylens 的 OpenClaw 多智能体平台改造

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2026-06-12T05:51:26Z
如何在您的测试服务器上自托管与S3兼容的对象存储(使用MinIO)并节省每月数百美元

本文介绍了如何使用Docker Compose自托管MinIO,支持HTTPS和预签名的上传/下载URL。自托管MinIO可以降低测试环境的存储成本,避免在AWS S3等服务上产生费用。文章详细说明了配置步骤,包括DNS设置、MinIO运行、HTTPS暴露、创建存储桶和访问密钥等,以确保安全和高效的文件管理。

如何在您的测试服务器上自托管与S3兼容的对象存储(使用MinIO)并节省每月数百美元

freeCodeCamp.org freeCodeCamp.org · 2026-06-01T14:40:43Z
从 ESP32-S3 到 AI 多模态:一次嵌入式学习与踩坑之旅

自2026年以来,作者深入学习ESP32-S3嵌入式开发,成功集成阿里云多模态SDK。通过学习,作者认识到嵌入式系统的复杂性与乐趣,强调硬件与软件的紧密联系,以及开发中资源与调度的平衡。

从 ESP32-S3 到 AI 多模态:一次嵌入式学习与踩坑之旅

dotNET跨平台 dotNET跨平台 · 2026-05-08T00:02:16Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码