Amazon has acquired DuckLabs, the company behind the analytical database DuckDB. Co-founders Hannes Mühleisen and Mark Raasveldt will continue to lead the team under AWS. The acquisition aims to...

DuckDB 读写 S3 上的 Parquet 文件需要 AWS 凭证。除硬编码密钥外，可用 `PROVIDER credential_chain` 让 DuckDB 按 AWS SDK 顺序自动查找凭证：环境变量、IRSA Web Identity、SSO 配置文件、ECS 任务角色、EC2 实例元数据，取首个可用者。该逻辑位于 aws 扩展，也适用于 GCS 和 R2。IRSA 通过注解 ServiceAccount 注入角色与令牌，由 kubelet 和 SDK 自动轮换。DuckLake 本地开发用静态密钥，生产用凭证链。

DuckLake是一种基于DuckDB扩展的湖仓格式，将元数据与数据分离：目录（本地文件或PostgreSQL）存储表结构、快照和文件指针，Parquet文件存储实际数据。支持本地运行及PostgreSQL+MinIO生产部署，通过分区将文件组织在S3中。查询时利用目录中的列统计进行分区剪枝和谓词下推，可跳过无关文件，显著提升查询效率。

MongoDB 发布安全公告，提醒用户关注 Percona Tools for MongoDB 中的多个 CVE 漏洞，并建议立即更新以防范潜在风险。

本文是SQLite内核系列第17篇（末篇），总结选型决策树：根据网络多写者、SQL需求、分析负载等条件，选择PostgreSQL/InnoDB、DuckDB、RocksDB或SQLite。SQLite适合嵌入式行存OLTP，单文件、零IPC、单写者。文章还提供站内阅读地图、学术谱系（如Bayer & McCreight 1972）及开放问题，如单写者权衡、WAL checkpoint策略等。

本文探讨了DuckDB与Trino的区别。DuckDB作为嵌入式OLAP引擎，适合单机分析，支持向量化和morsel-driven并行处理，能够高效读取Parquet和Iceberg格式数据。实验表明，DuckDB在小规模数据处理时能有效进行投影裁剪和谓词下推，但在多租户和大数据场景下仍需使用Trino。

本文探讨了分布式OLAP查询引擎（如Trino、Spark、DuckDB）的优化与MPP执行，分析了SQL从解析到执行的各个阶段，包括逻辑与物理优化、执行模型和下推机制，旨在帮助数据平台工程师和架构负责人理解交互式SQL在数据湖上的应用与性能调优。

DuckDB 是一种嵌入式列向量化分析引擎，适用于单机分析和数据科学。其架构包括 Catalog、Optimizer、Execution 和 Storage，支持 SQL 查询，并能直接处理 Parquet 和 CSV 文件。DuckDB 更适合零运维的嵌入式分析场景，支持 ACID 事务，适合小规模数据分析。

DuckDB 采用向量批处理和 morsel-driven 并行执行模型，显著提升数据处理效率。在 OLAP 任务中，DuckDB 的表现优于 PostgreSQL 和 ClickHouse，支持动态任务调度和负载均衡。其物理算子通过管道化处理数据，优化哈希连接和聚合操作，优化器通过下推谓词和动态规划提升查询性能。

本文比较了DuckDB与ClickHouse在OLAP场景中的应用，指出两者适用场景不同。DuckDB适合嵌入式分析和小规模数据，而ClickHouse更适合大规模数据处理和多用户访问。通过决策树，用户可以根据需求选择合适的工具，结合使用可提高效率。

本文探讨了ClickHouse与DuckDB的列存引擎，分析了列存文件格式、查询读取路径、MergeTree合并机制及索引特性，旨在帮助数据平台工程师、DBA及嵌入式分析开发者理解列存技术及其在生产环境中的应用与挑战。

DuckDB has recently announced Quack, a new remote protocol over HTTP that lets multiple DuckDB instances connect to and work with the same database over a network. The protocol introduces...

SwanLake 是基于 Rust 的 Arrow Flight SQL Server，结合 DuckDB 和 DuckLake，旨在提供可部署和可观测的数据服务。它通过五层架构实现高效的查询和会话管理，支持对象存储和元数据统一管理，提升系统的可观测性和性能。

SwanLake是一个基于Rust的DuckDB服务，旨在简化集成和操作。它结合了DuckDB、DuckLake和Flight SQL，提供高效的查询接口和会话管理，适用于数据湖场景，并注重可观察性，内置状态页面和性能指标，适合生产环境。

目前有三种将 PostgreSQL 与 DuckDB 集成的方案：pg_duckdb（仅支持存量数据迁移）、pg_mooncake（支持存量和增量数据同步）以及 pg_lake（仅支持全量数据导入）。PostgreSQL 的逻辑复制能力较弱，且缺乏可插拔存储引擎，而 MySQL 的设计更适合支持 DuckDB 的列存，并且其 binlog 机制对生态支持良好。