内容提要
Databricks 推出 Lakehouse//RT 实时数据仓库,支持空间 SQL 与空间连接,可直接在 Delta 和 Iceberg 表上运行地理空间查询,无需复制数据。基准测试显示,空间查询平均快 3 倍,高并发下最高快 38 倍,延迟低至 10 毫秒,每秒可处理 1.2 万次查询。该功能已进入 Beta 阶段,无需修改代码即可使用。
延伸解读
性能提升的基准与条件
文章基于 SpatialBench 基准测试,对比传统云数据仓库。结果显示,Lakehouse//RT 空间查询平均快 3 倍,部分查询最高快 20 倍;在 50 并发用户的高负载下,最高可达 38 倍。但需注意,这些数据来自特定合成数据集和查询集,实际性能可能因数据规模、查询模式及并发水平而异。
无需数据复制与代码修改
Lakehouse//RT 可直接在 Delta 和 Iceberg 表上运行空间查询,无需将数据复制到独立的空间系统或实时服务层。现有 Databricks SQL Serverless 上的空间函数和空间连接无需修改代码,只需创建 Lakehouse//RT 仓库并指向现有查询即可获得加速。这降低了架构复杂性和治理开销。
适用场景与当前状态
该功能面向需要实时位置智能应用和高并发的组织,如保险、农业、能源、电信、零售和物流等行业。Lakehouse//RT 空间查询已进入 Beta 阶段,预览客户报告延迟低至 10 毫秒,并发高达每秒 1.2 万次查询。但 Beta 版可能仍有功能或稳定性限制,生产部署前需评估。
使用建议与优化提示
为获得最佳性能,建议使用原生 GEOMETRY 数据类型,而非通过 ST_GeomFromWKB 转换 well-known binary 数据。原生类型可利用查询优化和文件跳过。此外,所有 Databricks Lakehouse 支持的 H3 表达式在 Lakehouse//RT 中均可用,AI/BI 仪表板也支持原生几何和地理数据类型的地图。
Q&A
Lakehouse//RT 是什么?它主要解决什么问题?
Lakehouse//RT 是 Databricks 推出的实时数据仓库,旨在直接在湖仓数据上提供毫秒级查询性能和超高并发,无需将数据复制到独立的服务层。它解决了组织在扩展数据访问时对实时响应能力的需求。
Lakehouse//RT 在空间查询上的性能提升具体是多少?
根据 SpatialBench 基准测试,Lakehouse//RT 的空间查询平均快 3 倍,在高并发(50 用户)下最高快 38 倍。延迟可低至 10 毫秒,并发可达每秒 12,000 次查询。
使用 Lakehouse//RT 运行空间查询需要修改代码吗?
不需要。现有的空间函数和空间连接无需任何代码更改即可在 Lakehouse//RT 上运行。只需创建一个 Lakehouse//RT 仓库并将现有查询指向它即可获得加速。
Lakehouse//RT 支持哪些空间数据类型和功能?
它支持 GEOMETRY 和 GEOGRAPHY 数据类型、100 多种空间函数、高性能空间连接,以及 AI/BI 地图。这些功能基于开放湖仓格式,可在 Delta 和 Iceberg 表上直接运行。
Lakehouse//RT 目前处于什么阶段?如何开始使用?
Lakehouse//RT 的空间 SQL 和空间连接功能目前处于 Beta 阶段。您可以从 SQL 仓库页面创建一个 Lakehouse//RT 仓库,然后直接运行现有的空间查询,无需修改代码。
Lakehouse//RT 是否支持 H3 和 AI/BI 仪表板中的地图?
是的。Databricks Lakehouse 支持的所有 H3 表达式在 Lakehouse//RT 中均受支持。您还可以在 AI/BI 仪表板中创建使用原生几何和地理数据类型的地图。