Backstage与Lakebase,第三部分

Backstage与Lakebase,第三部分

💡 原文英文,约1100词,阅读约需4分钟。
📝

内容提要

本文介绍Databricks Lakebase与Unity Catalog的FinOps解决方案,通过将Backstage运营数据与云账单数据直接连接,实现单查询成本归属分析。Lakebase隔离计算,支持秒级数据库分支,使临时分支成本可追踪。文章强调零ETL管道、统一治理及分支生命周期管理,展示技术融合如何简化成本与所有权查询,并指出未来需优化认证路径。

🔎

延伸解读

零ETL的FinOps查询:成本归属的简化

文章展示了通过Lakebase和Unity Catalog,将Backstage运营数据与云账单数据直接连接,实现单查询成本归属分析。传统方案需要ETL管道和跨团队协作,而这里通过Lakehouse Federation和系统账单表,实现了零数据移动的实时关联。这降低了FinOps分析的复杂度,但需要注意,当前Postgres连接器仅支持静态凭据,需额外配置认证路径。

分支级成本追踪:开发流程的可见性

Lakebase的秒级分支和隔离计算,使得每个临时分支的账单数据可独立查询。例如,测试分支成本为0.0107 DBU,而孤立分支可能累积成本。这为工程管理者提供了按分支、开发者、迭代的成本视图,有助于优化分支生命周期策略。但需注意,分支的自动过期机制和清理策略至关重要,否则孤儿分支会持续产生费用。

认证路径的权衡与未来优化

当前Lakehouse Federation的Postgres连接器仅支持静态用户/密码,而Lakebase使用OAuth JWT,导致需要维护两条认证路径。文章建议使用原生Postgres角色和SCRAM-SHA-256认证,并强调密码轮换的责任。未来若Federation原生支持OAuth JWT,可消除此变通方案。团队在采用此模式时,应将设置步骤脚本化,以简化重复操作。

Q&A

Backstage与Lakebase的FinOps解决方案如何实现单查询成本归属分析?

通过将Backstage运营数据与云账单数据直接连接,利用Lakebase隔离计算和Unity Catalog的治理能力,FinOps分析师可以编写单个SQL查询,将Backstage资源名称与系统账单表连接,无需ETL管道或数据移动。

Lakebase如何实现隔离计算,以及这对性能有何影响?

Lakebase为每个工作负载提供隔离的自动扩展计算环境,Backstage门户使用自己的计算,正常使用时目录查询端到端延迟为55-65毫秒,搜索为2-4毫秒,不会与分析工作负载争抢资源。

Lakehouse Federation连接Postgres时存在什么认证限制?如何解决?

Lakehouse Federation的Postgres连接器目前仅支持静态用户/密码凭据,而Lakebase使用OAuth JWT进行身份验证。解决方法是创建一个使用SCRAM-SHA-256认证的原生Postgres角色,并单独配置给Federation,与应用程序使用的OAuth身份分开。

为什么不用Python脚本定期同步数据,而选择直接连接?

因为分支的临时性。当开发者创建1秒的数据库分支来测试PR时,如果使用同步脚本,需要动态配置新的ETL管道才能获得成本可见性。而使用Lakebase,分支创建后其计费和所有权数据立即可查询,无需额外管道。

在POC中,临时测试分支的成本是多少?为什么说分支成本不是问题?

临时测试分支的成本是0.0107 DBU。虽然单个分支成本微不足道,但如果没有生命周期控制,孤儿分支可能累积并产生持续费用。然而,分支带来的生产力提升(如减少等待时间、减少mock对象维护)远超其成本,且成本可精确测量。

Lakebase端点如何影响成本?

Lakebase端点可以缩放到零,当分支未被查询时,计算挂起,计费停止。因此,0.0107 DBU是运行分支的成本,而不是存在分支的成本;闲置的临时分支不会产生费用。

未来需要优化什么认证路径?

未来需要优化Lakehouse Federation对OAuth JWT的原生支持,以消除当前使用静态凭据的变通方案,简化认证路径。

🏷️

标签

➡️

继续阅读