Databend Blog
·
功能预览：Databend与Iceberg的集成
内容提要
Databend支持读取Apache Iceberg表格格式的数据。本文提供了使用Databend挂载和查询Iceberg Catalog的能力预览。Apache Iceberg是一个为大规模分析工作负载设计的高性能开放表格格式。它支持各种查询引擎，并提供了模式演化和时间旅行等功能。Databend已经实现了对Hive和Iceberg数据目录的支持，允许用户挂载位于S3中的Iceberg Catalogs。他们还开发了IceLake，这是一个纯Rust实现的Apache Iceberg。本文包括一个工作坊，指导用户准备Iceberg格式的数据并使用Databend进行查询。
关键要点
-
Databend支持读取Apache Iceberg表格格式的数据。
-
Apache Iceberg是为大规模分析工作负载设计的高性能开放表格格式，支持多种查询引擎。
-
Databend实现了对Hive和Iceberg数据目录的支持，允许用户挂载S3中的Iceberg Catalogs。
-
IceLake是Databend开发的纯Rust实现的Apache Iceberg。
-
文章提供了一个工作坊，指导用户准备Iceberg格式的数据并使用Databend进行查询。
-
Apache Iceberg解决了现代分析工作负载对数据组织和一致性保证的需求。
-
表格格式定义了数据存储、相关文件的元数据和表本身的元数据。
-
Databend的多目录功能允许将其他数据分析系统管理的数据挂载到Databend。
-
用户可以通过SQL语句挂载Iceberg Catalog。
-
IceLake旨在建立一个开放生态系统，支持从各种存储服务读取和写入Iceberg表。
-
工作坊中使用NYC Taxis数据集进行Iceberg格式的数据准备和查询。
-
Databend的部署过程包括准备日志和元数据目录，修改配置文件以避免端口冲突。
-
用户可以通过SQL语句验证挂载的Iceberg Catalog，并执行简单查询。
