小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate

SwanLake 是基于 Rust 的 Arrow Flight SQL Server,结合 DuckDB 和 DuckLake,旨在提供可部署和可观测的数据服务。它通过五层架构实现高效的查询和会话管理,支持对象存储和元数据统一管理,提升系统的可观测性和性能。

SwanLake:一个基于 DuckDB + DuckLake 的 Arrow Flight SQL 数据湖服务

Rust.cc
Rust.cc · 2026-02-22T02:02:29Z

SwanLake是一个基于Rust的DuckDB服务,旨在简化集成和操作。它结合了DuckDB、DuckLake和Flight SQL,提供高效的查询接口和会话管理,适用于数据湖场景,并注重可观察性,内置状态页面和性能指标,适合生产环境。

SwanLake:基于DuckDB和DuckLake构建的Arrow Flight SQL数据湖服务

Wang Fenjin's Blog
Wang Fenjin's Blog · 2026-02-21T00:00:00Z

SwanLake 是基于 Rust 的 DuckDB 扩展,旨在将其转变为可部署的分析服务。它支持跨语言的 Flight SQL 接口,提供会话管理和运维监控,优化对象存储性能,提升可观测性和易用性。

SwanLake:一个基于 DuckDB + DuckLake 的 Arrow Flight SQL 数据湖服务

Wang Fenjin's Blog
Wang Fenjin's Blog · 2026-02-21T00:00:00Z
使用Python、Parquet和DuckDB构建现代数据分析架构

现代数据分析可以通过使用Parquet文件和DuckDB简化,直接查询数据,避免传统数据库的复杂性。这种方法提高了分析效率,适合批量处理结构化数据。

使用Python、Parquet和DuckDB构建现代数据分析架构

KDnuggets
KDnuggets · 2026-02-10T15:00:03Z

目前有三种将 PostgreSQL 与 DuckDB 集成的方案:pg_duckdb(仅支持存量数据迁移)、pg_mooncake(支持存量和增量数据同步)以及 pg_lake(仅支持全量数据导入)。PostgreSQL 的逻辑复制能力较弱,且缺乏可插拔存储引擎,而 MySQL 的设计更适合支持 DuckDB 的列存,并且其 binlog 机制对生态支持良好。

为什么我认为 MySQL 比 PostgreSQL 集成 DuckDB 更加的优雅?

baotiao
baotiao · 2026-02-04T00:00:00Z

MySQL的插件式存储引擎架构支持多种存储引擎,主要包括默认的InnoDB(适合OLTP)和专为OLAP设计的DuckDB。DuckDB与MySQL兼容,提升查询性能并降低存储成本。

当 MySQL 遇到 DuckDB

baotiao
baotiao · 2026-01-24T00:00:00Z
DuckDB的WebAssembly客户端允许在浏览器中查询Iceberg数据集

DuckDB最近推出了与Iceberg REST Catalogs的无服务器端到端交互,用户无需基础设施设置即可在浏览器中查询、读取和写入Iceberg表。该功能基于DuckDB-Wasm,确保浏览器和本地版本执行相同逻辑,用户可通过演示访问自己的S3表,所有计算在浏览器本地运行。

DuckDB的WebAssembly客户端允许在浏览器中查询Iceberg数据集

InfoQ
InfoQ · 2026-01-04T13:00:00Z
【Agentic AI for Data系列】Kiro实战:DuckDB vs Spark技术选型全流程

本文比较了DuckDB与Spark的技术选型,发现DuckDB在处理小文件时速度比Spark快90.4%。通过Agentic AI的Kiro助手,利用自然语言交互自动生成测试方案和代码,显著提高了选型效率,缩短了传统选型周期。

【Agentic AI for Data系列】Kiro实战:DuckDB vs Spark技术选型全流程

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2025-10-31T06:02:47Z
我们对DuckDB、SQLite和Pandas在百万行数据上的性能进行了基准测试:结果如何

本文比较了DuckDB、SQLite和Pandas在处理百万行数据集时的速度和内存效率。结果显示,DuckDB在大多数查询中表现最佳,Pandas在某些情况下速度较快但内存占用较高,而SQLite在速度和内存效率上均较差。总体而言,DuckDB是最优选择。

我们对DuckDB、SQLite和Pandas在百万行数据上的性能进行了基准测试:结果如何

KDnuggets
KDnuggets · 2025-10-10T14:00:17Z
从JSON到仪表板:使用Plotly在Streamlit中可视化DuckDB查询

本文介绍了如何使用Streamlit和Plotly开发简单仪表板,以可视化存储在DuckDB中的JSON数据,帮助非技术人员理解数据。

从JSON到仪表板:使用Plotly在Streamlit中可视化DuckDB查询

KDnuggets
KDnuggets · 2025-08-22T12:00:09Z
7个DuckDB SQL查询,助你节省数小时的Pandas工作

DuckDB是一款可在笔记本中运行的SQL数据库,安装简便,无需服务器。与Pandas相比,DuckDB在处理大数据集时表现更优,支持复杂的过滤、聚合和动态计算,适合数据分析项目。

7个DuckDB SQL查询,助你节省数小时的Pandas工作

KDnuggets
KDnuggets · 2025-07-07T14:00:08Z

DuckDB是过去十年最重要的地理空间软件,通过简化代码降低了地理数据处理的门槛,使非专业人士也能轻松使用。其空间扩展功能支持多个平台,促进了地理数据的广泛应用。

DuckDB 可能是过去十年最重要的地理空间软件

程序师
程序师 · 2025-07-04T10:04:04Z
第688期:检查字典、DuckDB、阅读shelve.py及更多(2025年7月1日)

本文探讨了如何在Python中同步更新Enum和字典等数据结构,以保持代码逻辑的分离。同时介绍了DuckDB在Python中的应用,以及简化循环和打印功能的实用技巧。

第688期:检查字典、DuckDB、阅读shelve.py及更多(2025年7月1日)

PyCoder’s Weekly
PyCoder’s Weekly · 2025-07-01T19:30:00Z
DuckDB与Python的整合:分析指南

DuckDB是一款快速的嵌入式OLAP数据库,支持复杂SQL查询,适合本地数据分析。它无需服务器,直接在Python中运行,支持多种文件格式,具有高效的内存使用和零拷贝执行模型,便于处理大数据集。

DuckDB与Python的整合:分析指南

KDnuggets
KDnuggets · 2025-06-10T14:00:36Z

In this article, we will learn how to create an ETL pipeline using DuckDB.

Data Science ETL Pipelines with DuckDB

KDnuggets
KDnuggets · 2025-05-30T12:00:52Z
当 PyIceberg 和 DuckDB 遇见 AWS S3 Tables:打造 Serverless 数据湖“开源梦幻组合”

本文介绍了一种现代无服务器解决方案,结合 S3 Tables、PyIceberg 和 DuckDB,实现电商用户行为数据的低成本、高效查询,简化运维,适合快速分析和优化营销策略。

当 PyIceberg 和 DuckDB 遇见 AWS S3 Tables:打造 Serverless 数据湖“开源梦幻组合”

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2025-05-15T02:39:19Z
esProc SPL与DuckDB在数据存储方面的比较

DuckDB和esProc SPL在数据存储上各具特点。DuckDB采用传统数据库模型,使用元数据管理结构化数据,灵活性较低;而esProc采用碎片化数据组织,无元数据限制,支持多源数据混合计算,灵活性高但管理性差。DuckDB仅支持列存储,esProc则提供行存储和列复合表,支持多种数据类型和多层嵌套数据。

esProc SPL与DuckDB在数据存储方面的比较

DEV Community
DEV Community · 2025-05-12T08:42:10Z
esProc SPL与DuckDB:哪种更适合应用内计算的轻量化

DuckDB和esProc SPL都是可嵌入的计算引擎。DuckDB使用方便,但跨数据源计算时需定制连接器,增加复杂性。esProc通过JDBC兼容多种数据库,支持复杂逻辑,简化技术栈,实现轻量化。

esProc SPL与DuckDB:哪种更适合应用内计算的轻量化

DEV Community
DEV Community · 2025-05-09T07:58:03Z
esProc SPL与DuckDB在多数据源能力上的比较

DuckDB和esProc SPL都支持多种数据源,但esProc在非关系型数据库和数据扩展方面更具优势。DuckDB依赖专用连接器,复杂性高,支持有限;而esProc通过原生接口连接,开发速度快,支持混合计算。esProc在数据处理上更灵活,支持SQL和SPL,处理复杂JSON时更直观。

esProc SPL与DuckDB在多数据源能力上的比较

DEV Community
DEV Community · 2025-05-07T05:57:07Z
SPL在处理多层JSON数据方面比DuckDB更为便捷

esProc SPL在处理多层JSON数据时比DuckDB更便捷,尤其在保留JSON层次结构和进行复杂计算方面。SPL通过简洁的语法直接访问子层数据,避免了DuckDB中复杂的SQL结构,使得过滤和聚合操作更加直观高效。

SPL在处理多层JSON数据方面比DuckDB更为便捷

DEV Community
DEV Community · 2025-04-29T06:29:35Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码