小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI

本文介绍如何使用 CloudFormation 模板在 AWS 上部署 DuckLake。DuckLake 需要 S3 存储 Parquet 数据,并使用 Aurora PostgreSQL 作为元数据目录。该模板会创建 KMS 密钥、S3 存储桶(含强制 HTTPS 和加密的桶策略)、Aurora 集群与实例、IAM 策略和角色,并通过 OIDC 实现免静态密钥访问。CloudFormation 无需状态文件,失败时自动回滚,一条命令即可完成部署。

使用 CloudFormation 在 AWS 上部署 DuckLake

Kimserey Lam’s website, Software Development blog posts, videos and tutorials Kimserey Lam’s website, Software Development blog posts, videos and tutorials · 2026-09-23T05:00:00Z

DuckLake是一种基于DuckDB扩展的湖仓格式,将元数据与数据分离:目录(本地文件或PostgreSQL)存储表结构、快照和文件指针,Parquet文件存储实际数据。支持本地运行及PostgreSQL+MinIO生产部署,通过分区将文件组织在S3中。查询时利用目录中的列统计进行分区剪枝和谓词下推,可跳过无关文件,显著提升查询效率。

DuckLake — 基于DuckDB的开源湖仓

Kimserey Lam’s website, Software Development blog posts, videos and tutorials Kimserey Lam’s website, Software Development blog posts, videos and tutorials · 2026-08-22T05:00:00Z
刘桥生:发布 pg_ducklake v1.0

pg_ducklake将于2026年6月发布v1.0版本,提供完整的DuckLake工作流,支持PostgreSQL SQL的多种功能,包括DML、时间旅行和ACID事务。该扩展独立于pg_duckdb,优化了数据写入速度,适合OLTP数据库,支持快速数据摄取和角色访问控制。未来将继续增强功能,欢迎用户反馈需求。

刘桥生:发布 pg_ducklake v1.0

Planet PostgreSQL Planet PostgreSQL · 2026-06-17T00:00:00Z

SwanLake 是基于 Rust 的 Arrow Flight SQL Server,结合 DuckDB 和 DuckLake,旨在提供可部署和可观测的数据服务。它通过五层架构实现高效的查询和会话管理,支持对象存储和元数据统一管理,提升系统的可观测性和性能。

SwanLake:一个基于 DuckDB + DuckLake 的 Arrow Flight SQL 数据湖服务

Rust.cc Rust.cc · 2026-02-22T02:02:29Z

SwanLake是一个基于Rust的DuckDB服务,旨在简化集成和操作。它结合了DuckDB、DuckLake和Flight SQL,提供高效的查询接口和会话管理,适用于数据湖场景,并注重可观察性,内置状态页面和性能指标,适合生产环境。

SwanLake:基于DuckDB和DuckLake构建的Arrow Flight SQL数据湖服务

Wang Fenjin's Blog Wang Fenjin's Blog · 2026-02-21T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码