内容提要
AUMOVIO 因多种大模型接入方式导致运维、成本与治理复杂,跨部门工作组决定统一采用 Databricks Unity Gateway,以复用其企业数据平台及微软 Entra ID 的身份认证与治理能力。通过 1adp-* 模型别名,应用无需改代码即可切换供应商,配置由 Terraform 管理。其上还构建了成本分摊、模型目录和员工 AI 应用,实现集中治理与用量追踪。
延伸解读
自建网关的隐性成本:运维承诺比开发更难
AUMOVIO 指出,构建 AI 网关本身不难,难的是将其作为企业级服务长期运营:供应商 API 会变、依赖需修补、安全要求演进、用户需要支持。一旦应用依赖网关,就必须有路线图、值班轮换和支持流程。因此他们在自建与购买之间,选择复用已有 Databricks 平台,避免另起一套孤立技术栈。这提醒读者:评估网关方案时,应把持续运维成本纳入决策,而非只看原型开发速度。
别名机制解耦应用与供应商,但模型仍需逐一验证
通过 1adp-* 模型别名,AUMOVIO 让应用面向稳定、厂商中立的名称编程,后台可重新指向不同供应商或更新模型,而消费者无需改代码。这降低了切换成本,但文章也强调,标准化访问并不使模型可互换:团队仍需针对所选模型测试应用。别名解决的是接入路径统一,而非模型行为一致性,选型与验证责任仍在应用团队。
治理与成本分摊:集中管控不等于默认全量日志
Unity Gateway 将模型审批、访问策略、用量追踪和日志集中一处,但推理表的负载日志默认关闭,仅在明确批准的理由下启用,以符合数据保护要求。成本方面,用户将消费归属到个人成本中心或项目,再结合 Databricks 系统表生成仪表盘,实现近实时可见性与内部计费。这说明集中治理需在可观测性与隐私之间取得平衡,而非一味全量采集。
下一阶段挑战:智能体工具访问的权限边界
AUMOVIO 计划在 1ADP 项目中共享智能体,并通过托管或自带 MCP 连接知识源、网络搜索等工具。模型访问仍集中,但智能体可触达的工具范围扩大,随之而来的是智能体可检索什么、可调用哪些工具、以谁的身份权限行事等问题。文章认为,拥有统一框架来回答这些问题,正是当初整合网关的初衷。这提示读者:网关集中化只是起点,智能体治理将考验权限模型的精细度。
Q&A
AUMOVIO 为什么决定统一采用 Databricks Unity Gateway 来管理 AI 模型访问?
因为各团队此前使用多种大模型接入方式,导致运维、成本分摊和治理复杂化。跨职能 AI 工作组决定建立一个中央 AI 网关作为共享的 LLM 访问与治理路径,而 Databricks Unity Gateway 能复用现有数据平台、微软 Entra ID 身份认证和治理能力,避免自建网关的持续维护负担。
AUMOVIO 如何在不修改应用代码的情况下切换底层模型供应商?
AUMOVIO 发布了一套精心维护的 1adp-* 模型别名目录,Unity Gateway 将每个别名路由到实际提供服务的供应商(如 Databricks 托管模型、Google Vertex AI、Azure OpenAI、AWS Bedrock 等)。用户针对稳定、厂商中立的别名编写代码,管理员可以重新指向不同供应商或更新模型,而消费者无需改动任何代码。
Unity Gateway 如何与 AUMOVIO 现有的企业身份系统集成?
Databricks 已与公司的 Microsoft Entra ID 租户集成,其他 AUMOVIO 应用也通过同一租户认证。应用出示 Entra ID 令牌,通过令牌交换获得 Unity Gateway 的访问权限,无需单独账户或分发 API 密钥。新 AI 应用接入只需授予权限,当企业身份失效时,对所有模型的访问也会自动终止。
AUMOVIO 如何追踪和分摊 AI 模型的使用成本?
Unity Gateway 报告消耗的 token 数量,每位用户将消耗分配给个人成本中心或所在项目。管道将这些分配与 Databricks 系统表结合,把使用费用计入正确的成本中心,并通过仪表板发布结果,展示哪些模型被使用、由谁使用、消耗趋势及成本。预算负责人可以查看支出并识别消耗变化。
AUMOVIO 在 Unity Gateway 之上构建了哪些面向团队的能力?
构建了三项能力:1)成本归因与回扣,通过 token 用量和成本中心分配实现;2)精心维护的模型目录,作为已批准模型、映射关系及消费层级的唯一事实来源;3)面向员工的 1ADP AI App,提供受治理的无代码 AI 使用方式,同时为开发者提供 OpenAI 兼容端点以连接兼容的代理编码工具。
AUMOVIO 如何用基础设施即代码管理 Unity Gateway 的配置?
AUMOVIO 使用 Terraform 表达 Unity Gateway 的所有配置,包括每个 1adp-* 别名背后的端点、每个模型路由到的供应商、供应商降级时的回退顺序、速率限制以及每个端点的防护措施。添加模型、重新指向别名或收紧安全控制都通过拉取请求完成,经过审查、版本化并在各环境间可复现。
AUMOVIO 的下一阶段 AI 平台计划是什么?
下一阶段将向 AI 平台栈上层移动:在 1ADP 项目内共享代理,并通过托管和自带 MCP(模型上下文协议)连接来连接知识源、网络搜索和其他工具。模型访问保持集中,变化的是代理可触及的工具范围,这引发了关于代理可以检索什么、可以调用哪些工具以及以谁的权限行事的问题,而拥有一个统一框架来回答这些问题正是当初整合的原因。