分支、同步、服务:我们的 Lakebase 黑客松教会我们如何在 Lakebase 上构建应用

分支、同步、服务:我们的 Lakebase 黑客松教会我们如何在 Lakebase 上构建应用

💡 原文英文,约1900词,阅读约需7分钟。
📝

内容提要

本文介绍Databricks Lakebase黑客松的11个客户项目。Lakebase是全托管Postgres,采用存储计算分离架构,并与湖仓数据同受Unity Catalog治理。项目聚焦两大方向:一是分支功能,支持秒级零拷贝分支,用于AI代理测试、PR预览环境和模式基准测试;二是同步与服务,通过同步表将湖仓数据导入Postgres,供应用低延迟查询并支持实时特征服务。多个团队借此替代了独立搜索索引、暂存库或手工同步任务。

🔎

延伸解读

分支不只是开发工具,更是AI代理的安全试验场

Lyft 的项目显示,Lakebase 分支可让 AI 代理在约六秒内获得生产库的零拷贝副本,执行退款、取消等操作后读回数据库实际结果再调整。相比仅靠大模型规划,这种“先试后改”的方式在合成数据上把合规解决率从 2/11 提升到 10/11。这说明分支的价值不止于开发测试,还能为代理提供可回滚、可验证的执行环境,降低直接操作生产数据的风险。

PR 预览环境与模式基准测试:分支的两种工程化用法

CIBC 的 Branchflight 在 PR 打开时从脱敏模板分支创建零拷贝环境,五秒内完成并部署预览应用,空闲时缩容到零、到期自动清理,合并前还做 schema diff 检查。Arbital Health 则用分支固定数据、变换 schema 来评测 text-to-SQL 准确率。两者共同说明:分支能把“环境准备”和“模式实验”变成低成本、可重复的常规操作,而不是一次性手工任务。

同步表与反向 ETL:让湖仓数据直接服务低延迟应用

第二赛道聚焦同步与服务。Synced tables 通过托管 Spark 管道把 Unity Catalog 表持续复制到 Lakebase Postgres,供应用低延迟查询;Change Data Feed 则把 Postgres 变更回流到 Delta。Data Axle 的案例中,搜索、定价、代理记忆和特征服务都跑在同一个 Lakebase 库上,定价响应可低至 4 毫秒。这提示读者:应用与湖仓之间不必再维护独立的手工同步链路。

替代独立搜索索引与暂存库时,治理一致性是关键差异

Markel 用 Lakebase 直接服务理赔、核保和呼叫中心的快速读取,替代了原本单独维护的 Elasticsearch 索引,从而避免第二套管道、schema 漂移和治理缺口。多个团队也借此替换了暂存库或手工同步任务。文章强调,湖仓表与 Postgres 表同受 Unity Catalog 治理,这是 Lakebase 区别于普通 Postgres 的核心优势,也是评估是否迁移现有独立系统时应重点关注的方面。

❓

Q&A

Lakebase 和普通 Postgres 数据库有什么不同?

Lakebase 是全托管 Postgres,但存储与计算分离,数据库与湖仓数据同处 Unity Catalog 治理之下。这带来了普通 Postgres 难以实现的能力:秒级零拷贝分支、通过同步表将湖仓数据导入 Postgres 供低延迟查询,以及作为在线特征存储实时服务模型。

Lakebase 的分支功能是怎么工作的?

每个 Lakebase 项目都有一个生产分支,可以从中创建子分支用于开发、测试或实验。分支使用写时复制(copy-on-write),因此大型数据库的分支几秒内就绪,且只有变更部分占用新存储,创建分支对生产性能没有影响。

黑客松中团队如何用 Lakebase 分支来测试 AI 代理?

Lyft 的 Jevons Search 项目为每批支持工单创建一个生产分支的写时复制副本(约六秒),让 AI 代理在分支上执行退款、取消预订等操作,然后读回数据库实际结果并调整。相比预先规划,在分支上测试能解决更多工单(11 个积压中解决 10 个,而预先规划只解决 2 个)。

同步表(synced tables)是什么,它解决了什么问题?

同步表通过托管的 Spark 声明式管道将 Unity Catalog 中的精选数据持续复制到 Lakebase Postgres 中作为只读表,让应用能以低延迟查询湖仓数据,这通常称为反向 ETL。它解决了数据与 ML 工程师需要为应用和服务单独构建数据路径的问题。

Lakebase 能替代哪些现有系统?

根据黑客松项目,Lakebase 可以替代独立的搜索索引(如 Elasticsearch)、共享暂存数据库、以及手工构建的同步任务。多个团队用 Lakebase 直接处理了这些原本需要单独系统的工作。

Lakebase 支持哪些 Postgres 扩展和功能?

Lakebase 支持 pgvector、PostGIS、pg_trgm 等 Postgres 扩展用于搜索,并且作为 Databricks 在线特征存储的在线存储,使湖仓中定义的特征能实时服务给模型。

🏷️

标签

➡️

继续阅读