内容提要
企业AI策略正从依赖单一前沿模型转向多模型组合,原因包括成本回报不足、模型排名频繁变化、前沿模型护栏阻碍合法任务、数据保留政策变动、治理需求上升、模型运行框架影响性能,以及开源权重模型已追平前沿模型。Databricks的Unity AI Gateway统一接入开源与前沿模型,提供集中治理、路由和成本控制;Omnigent则让团队灵活更换模型或代理环境。客户使用的模型数量和开源模型流量均在增长。
延伸解读
从单一模型到模型组合的转变动因
文章指出企业放弃单一前沿模型并非跟风,而是七重压力叠加的结果:AI预算增速超过收入与成本节约、模型排名自2023年以来频繁易主、前沿模型护栏可能拦截合法任务(如分析恶意软件)、数据保留政策变动可能迫使系统改造、治理可见性需求上升、运行框架显著影响性能,以及开源权重模型已追平前沿水平。这些压力共同推动企业转向可灵活更换模型的架构。
运行框架与模型需一起评估
Databricks自身基准显示,同一模型在不同运行框架下得分分别为61.7%、48.1%和38.4%(裸模型),差距明显。这意味着企业选型时不能只看模型榜单,而应把提示、工具和控制流组成的框架与模型作为整体测试。文章也提到Unity Gateway通过兼容OpenAI的端点,让现有编码框架只需改配置即可接入开源权重模型,降低了切换成本。
使用数据印证的迁移趋势
自1月以来,Unity Gateway客户平均使用的唯一模型数从4.2增至7.1,其中约40%为开源权重模型。GLM 5.2于7月中旬上线后一个月内已占该网关开源权重token的约40%,且增长主要来自现有客户将流量转向开源模型,而非新客户涌入。这表明多模型组合与开源流量上升已是可观测的实际行为,而非仅停留在策略讨论层面。
治理与算力是落地的关键约束
文章强调,模型和框架可更换的前提是不削弱治理,Unity Gateway提供统一访问控制、路由策略、预算与审计,Omnigent则让团队更换模型或代理环境而无需重建工作流。同时,大规模服务开源权重模型需要推理引擎与内核优化来维持响应速度,Databricks的30亿美元融资部分即用于确保GPU容量,说明算力供给仍是规模化托管的现实瓶颈。
Q&A
为什么企业不再只依赖单一的前沿模型提供商?
文章指出七个关键压力:AI支出未产生足够回报;模型排名频繁变化,绑定单一提供商难以采用更好模型;前沿模型的护栏可能阻止合法任务(如分析恶意软件);数据保留政策可能变化(如30天最低保留);企业需要模型治理的可见性和控制;模型运行框架(harness)对性能影响大;开源权重模型已追平前沿模型。
开源权重模型现在能替代前沿模型吗?
文章称顶级开源权重模型在基准测试上已达到与顶级前沿模型相当的水平,且成本更低。这改变了成本、控制和部署的权衡。但前沿模型在能提供更好结果的工作负载中仍有价值,企业应规划模型组合。
Unity AI Gateway 如何帮助企业统一管理多种模型?
Unity AI Gateway 通过统一API接入开源权重和前沿模型,提供集中治理控制,支持通过配置或智能路由切换模型,无需修改代码。它还提供访问控制、路由策略、预算和审计功能,帮助治理模型并控制成本。
模型运行框架(harness)对性能有多大影响?
Databricks的研究显示,同一模型在不同harness中得分差异显著:在一个harness中得分61.7%,另一个48.1%,裸模型仅38.4%。因此评估应同时测试模型和harness。
企业使用开源权重模型的趋势如何?
自1月以来,每个客户平均使用的独特模型数量从4.2个增加到7.1个,其中约40%是开源权重模型。GLM 5.2推出一个月后,已占Unity Gateway上开源权重令牌使用量的约40%,且大部分增长是增量性的。
Omnigent 在企业的AI架构中扮演什么角色?
Omnigent 是一个元harness,让团队能够灵活更换模型或代理环境,而无需重建工作流。它扩展了Unity Gateway的灵活性到harness层面,帮助团队快速适应模型选项、质量、定价和政策要求的变化。