AI账单即将到来
内容提要
Databricks全面采用AI编程工具后，因按用量计费且无使用限制，成本呈指数增长。联合创始人Patrick Wendell推动建立统一网关层，通过快速评估并迁移至更便宜的新模型、智能路由、费用可见性及削减token开销等手段，部分场景单位成本降低达90%，人均token支出趋于平稳。他强调AI成本是基础设施问题，应在开发者与模型之间设置控制层，实现成本可控而不牺牲生产力。
延伸解读
硬性预算上限为何失效
Databricks 最初尝试设置硬性支出上限，但发现这会打断高效用户的工作流，导致他们转向个人账户，使支出更不透明。于是改为渐进式摩擦：先警告，再审批，然后降级到更便宜的模型，最后才切断。定期发送个人支出明细并附节省建议，仅此一项就节省约10%。这说明成本控制需要兼顾体验，而非简单封堵。
快速迁移至更便宜模型是最大杠杆
文章指出，每两周左右就会出现一个在成本上显著进步的新模型。Databricks 通过统一网关快速评估并迁移流量，仅这一项就贡献了50%以上的成本降低。例如，近期一个廉价模型在任务成本上仅为九个月前前沿模型的约1%，即100倍降幅。关键在于建立快速评估和切换的能力，否则新模型出现也无人使用。
自建基准测试比公共榜单更可靠
公共基准测试的任务可能泄漏到训练数据中，且与企业级代码库差异大。Databricks 用真实拉取请求构建内部基准，并通过运行测试来评分，而非用LLM当裁判。结果发现，开源模型GLM 5.2在质量上媲美Opus 4.8且成本低三分之一；每token更便宜的模型可能因消耗更多token而任务总成本更高；同一模型不同工具链成本差异可超2倍。
网关层是成本可见与可调的基础设施
Patrick 强调，AI成本是基础设施问题，而非采购问题。预算无法决定哪个请求该用哪个模型，这需要路由。Databricks 将所有编码工具流量（如Claude Code、Codex、Cursor）统一经过一个网关，从而看清资金流向，并实现智能路由（平均任务成本降低30%以上）、费用可见性和快速模型切换。没有这个控制层，其他优化都难以落地。
Q&A
Databricks全面采用AI编程工具后，为什么成本会指数级增长？
因为这些工具按用量计费而非按席位收费，且初期取消了所有限制，允许使用最贵的模型和无限token，导致单个用户可能无限制地消耗费用，成本随使用量指数增长。
Databricks如何将AI编程的单位成本降低高达90%？
通过四个杠杆：1）快速评估并迁移到更便宜的新模型（贡献50%以上）；2）智能路由（Smart Router降低平均任务成本30%以上）；3）费用可见性（定期发送个人支出明细，节省约10%）；4）削减token开销（优化harness和缓存设置节省近50%）。
为什么硬性支出上限不是控制AI成本的好方法？
硬性切断会打断用户工作流，损失数小时工作，且被限制的往往是高效用户，他们可能转向个人账户导致无法追踪。Databricks改为渐进式摩擦：先警告，再审批，然后降级到更便宜的模型，切断是最后手段。
Databricks为什么自建基准测试而不是依赖公开基准？
公开基准的任务可能泄漏到训练数据中，且不像大型企业代码库。Databricks用真实PR构建自己的基准，通过运行测试评分，避免LLM评判偏向“听起来正确”。结果发现开源模型GLM 5.2在质量上匹敌Opus 4.8且成本低三分之一，harness的影响与模型相当。
智能路由（Smart Router）如何帮助控制AI成本？
Smart Router根据任务类型自动选择模型：简单任务用便宜模型，复杂问题用强大模型，从而在保持接近最贵模型质量的同时，将平均任务成本降低30%以上，并减少用户手动选择模型的负担。
对于CTO面对不断增长的AI账单，Patrick给出的首要建议是什么？
首先弄清楚钱花在哪里：大多数公司无法按团队或模型区分AI支出。建议在模型前部署一个网关，让所有流量经过统一入口，实现费用可见性。之后其他事情都会更容易，同时不要减慢团队速度，因为生产力提升是真实的，拖延只会让账单更大。
