为云数据仓库成本设置预算与预警
内容提要
本文介绍在Databricks上主动管理SQL仓库成本的方法，核心是五支柱框架：通过仓库标签和查询标签实现成本归因；按团队和账户设置分层预算；基于消费速度提前预警；用仪表盘实时监控支出；优化成本，默认使用无服务器仓库、启用预测优化并调优查询。透明化支出比限制更能持久节省成本。
延伸解读
为什么传统成本管理方法会失效
文章指出，数据仓库工作负载具有不可预测和突发性的特点，例如一次高管全体会议可能触发200个仪表板同时刷新，导致成本在几分钟内飙升。传统的事后分析（如下载上月使用CSV并制作透视表）存在四个主要缺陷，无法及时应对这种突发情况。因此，需要转向主动成本管理，在支出发生前设置护栏。
预算与预警的定位：监控而非硬性限制
文章强调，预算是一种监控机制，而非硬性上限。它不会阻止使用或防止费用产生，账单仍可能超出预算金额。其目标是提高意识并快速响应，而不是在仪表板刷新过程中中断生产。因此，应设置分层预算：团队级预算用于问责，账户级预算作为安全网，并基于消费速度提前预警，以便在超支前有足够时间采取行动。
成本归因的两个层级：仓库与查询
成本归因需要两个层级：仓库标签告诉你哪个仓库花了钱，查询标签则揭示仓库内部是谁在花钱。例如，仓库标签显示上月花费4000美元，但查询标签能指出其中60%来自某个每15分钟刷新的Power BI仪表板。查询标签目前为公开预览，仅适用于SQL仓库查询，且需自行连接查询历史与账单数据来计算每次查询的成本。
优化成本的关键举措
文章建议从两项能同时改善成本和性能的变更开始：默认使用无服务器仓库，以及为Unity Catalog托管表启用预测优化。无服务器仓库按实际查询执行付费，消除了空闲就绪成本；预测优化则自动运行OPTIMIZE、VACUUM和ANALYZE，并根据查询模式调整聚类键，减少扫描数据量，从而降低DBU消耗。此外，调优查询本身也至关重要，因为大多数成本问题本质上是查询问题。
Q&A
Databricks SQL仓库成本管理为什么需要主动治理？
因为SQL仓库服务于交互式、人工驱动的工作负载，需求不可预测且突发性强，例如一次高管全体会议可能触发200个仪表板同时刷新，导致成本在几分钟内飙升。事后分析账单往往为时已晚，主动治理能在花钱前设置护栏，将预算绑定到仓库、团队或BI工作负载，并设置阈值告警和实时仪表板。
Databricks上SQL仓库成本管理的五支柱框架是什么？
五支柱框架包括：1) 通过仓库标签和查询标签实现成本归因；2) 按团队和账户设置分层预算；3) 基于消费速度提前预警；4) 用仪表盘实时监控支出；5) 优化成本，默认使用无服务器仓库、启用预测优化并调优查询。前四个支柱让支出可见，第五个支柱实际降低成本。
如何为Databricks SQL仓库设置标签以实现成本归因？
仓库标签以键值对形式传播到system.billing.usage，将DBU消耗关联到团队、项目或成本中心。可在UI的SQL Warehouses > 编辑 > 标签中设置，或通过REST API创建时添加。建议至少应用三个维度：团队、成本中心、用例。由于没有原生策略强制标签，应通过Terraform、Declarative Automation Bundles或REST API在配置流程中内置标签，将UI作为例外。
查询标签如何帮助更细粒度地归因成本？
查询标签（公开预览）将业务上下文附加到单个SQL语句，标签出现在system.query.history的query_tags列中，可结合executed_by和statement_id按仪表板、模型或成本中心分组支出。dbt-databricks 1.11.0起自动为模型查询打标签，Power BI通过ADBC驱动传递工作区和数据集标识符。注意：查询标签仅适用于SQL仓库查询，且需自行连接查询历史与账单数据来计算每查询成本。
如何在Databricks中设置分层预算和预警？
在账户控制台的Usage > Budgets中点击Add budget，配置名称、金额、范围（标签）和告警接收人。关键模式是分层预算：团队级预算用于问责，加上账户级预算作为安全网。预算只是监控机制，不是硬性上限，不会阻止使用或防止收费。创建预算时可添加邮件接收人，当支出超过预算金额时通知。对于基于阈值的告警，可创建Databricks SQL告警直接查询system.billing.usage，并基于消费速度预测月末支出，在超支前提前预警。
如何优化Databricks SQL仓库成本？
优化从两个同时改善成本和性能的变更开始：为Unity Catalog托管表启用预测优化（自动运行OPTIMIZE、VACUUM、ANALYZE，并通过CLUSTER BY AUTO调整聚类键），以及默认使用无服务器仓库以节省启动和空闲成本。此外，调优查询和设置，如匹配物化视图刷新频率与数据实际变化频率，使用OPTIMIZE、VACUUM和液态聚类减少查询所需计算。大多数成本问题本质是查询问题，归因数据可帮助定位需要修复的查询和仪表板。
