Databricks如何在首日向1.2万名员工推出前沿模型

Databricks如何在首日向1.2万名员工推出前沿模型

💡 原文英文,约1100词,阅读约需4分钟。
📝

内容提要

Databricks借助Unity Gateway和CLI,让1.2万名员工在新模型发布首日即可试用。通过实验标签、预算控制和成本追踪,团队在三天内评估了Opus 5.5与GPT-6 Sol的效率前沿。结果显示,Opus 5.5质量更高、成本降低29%,将设为Claude Code默认模型;GPT-6 Sol成本降低48%,将纳入智能路由。

🔎

延伸解读

实验标签与预算控制:快速试用的安全网

Databricks通过Unity Gateway为Opus 5.5和GPT-6 Sol打上实验标签,并纳入实验预算,让员工在首日即可试用,同时明确这些模型可能不会长期保留。这种机制既满足了员工对新模型的好奇心,又通过预算隔离控制了成本风险。对于企业而言,在引入前沿模型时,设置实验性预算和标签是平衡创新与管控的有效手段。

成本评估的陷阱:为何要分层比较

文章指出,直接比较每会话成本会因用户行为变化而失真:早期采用者可能尝试更难的任务,导致会话分布改变。Databricks将会话按单轮/多轮和是否编辑文件分层,并重新加权,才得出Opus 5.5成本降低29%、GPT-6 Sol降低48%的结论。这提醒我们,评估新模型成本时需控制任务难度和用户行为差异,否则可能误判。

从实验到默认:模型采纳的决策依据

Databricks依据基准测试、用户反馈和成本追踪三个信号,在三天内确认Opus 5.5和GPT-6 Sol处于效率前沿。随后,Opus 5.5因质量更高、成本更低被设为Claude Code默认模型;GPT-6 Sol虽不取代GPT-5.6 Sol成为Codex默认,但因其成本优势被纳入智能路由。这表明,模型是否成为默认取决于综合表现,而非单一指标。

❓

Q&A

Databricks 如何让超过1.2万名员工在模型发布首日就能使用新模型?

Databricks 通过 Unity Gateway 集中启用新模型,并利用已部署在员工笔记本上的 Unity Gateway CLI(UG CLI)自动更新本地工具(如 Claude Code、Codex、Omnigent)的配置,从而让员工在模型发布首日即可访问。

Databricks 如何评估新模型是否达到效率前沿?

Databricks 依赖三个信号:基准测试(如 OfficeQA Pro V2)、用户反馈以及成本追踪。通过对比早期采用者使用新旧模型的成本(按会话类型分层并重新加权),结合质量评价,判断模型是否在成本/质量前沿。

Opus 5.5 和 GPT-6 Sol 在成本上相比前代模型有何变化?

根据 Databricks 的成本追踪,Opus 5.5 相比 Opus 4.8 平均每会话成本降低 29%(从 $5.94 降至 $4.23);GPT-6 Sol 相比 GPT-5.6 Sol 降低 48%(从 $4.52 降至 $2.34)。

Databricks 对 Opus 5.5 和 GPT-6 Sol 的后续采用决策是什么?

Opus 5.5 因质量更高且成本更低,将被设为 Claude Code 的默认模型;GPT-6 Sol 不会取代 GPT-5.6 Sol 作为 Codex 默认模型,但会因其成本优势被纳入智能路由的工具集。

Unity Gateway 在 Databricks 的模型管理中扮演什么角色?

Unity Gateway 是 Databricks 内部 AI 治理、成本管理和可观测性的中心枢纽。它用于集中启用新模型、设置实验标签、管理预算、准备智能路由以及收集评估追踪数据。

Databricks 如何控制员工使用新模型的预算?

Databricks 为每位用户定义了四个主要预算,并将新模型(如 Opus 5.5 和 Sol 6)标记为实验预算。员工在实验预算下使用新模型,公司通过成本追踪评估是否将其转入标准预算。

🏷️

标签

➡️

继续阅读