Unity AI Gateway中的智能路由：以降低30%以上的每任务成本实现前沿质量
内容提要
Databricks推出Unity AI Gateway的Smart Routing功能，根据任务复杂度自动选择合适模型，在内部编码任务中节省35%成本，公共基准测试中节省56%。该功能支持Claude Code和Codex，并通过Omnigent跨模型和编码工具优化，兼顾成本与开发者生产力，避免默认使用最贵模型。
延伸解读
路由时机：任务感知优于请求级
文章指出，智能路由的关键决策之一是路由时机。请求级路由虽简单，但会破坏缓存效率；而任务感知路由在任务开始时根据复杂度选择模型，既保留缓存优势，又能匹配不同任务。这种设计意味着路由不是每次调用都重新决策，而是基于任务整体，从而在降低延迟和成本的同时保持性能。
成本节省的代价：需平衡生产力
虽然智能路由在内部任务中节省35%成本，公共基准测试中节省56%，但文章强调不能只优化成本而牺牲开发者体验。为此，Databricks记录所有编码会话轨迹，结合AI和人工审查评估路由效果，并持续监控成本、性能等指标。这表明路由技术仍处于早期，需要迭代和反馈信号来确保长期有效。
路由的局限：基准测试与现实差距
文章承认基准测试任务通常定义清晰，而真实编码会话往往模糊且复杂，导致路由在基准上表现良好但实际效果可能打折。为应对这一挑战，Databricks计划研究更贴近真实场景的评估方法，并探索利用子代理和跨模型/工具编排（如Omnigent）来提升路由的适应性和节省潜力。
Q&A
Unity AI Gateway的Smart Routing是什么？它如何工作？
Smart Routing是Unity AI Gateway的一项新功能，它根据任务的复杂度自动选择最合适的模型，而不是默认使用最贵的模型。它通过一个便宜、低延迟的模型读取任务描述，提取语义标签（如变更的系统部分、代码证据、失败类型、修复的局部性等），然后根据这些标签将任务路由到合适的模型：对于简单任务使用更便宜的模型，对于复杂任务升级到更昂贵的模型。
Smart Routing在内部编码任务和公共基准测试中分别节省了多少成本？
在内部编码任务中，Smart Routing节省了35%的成本；在公共基准测试中，节省了56%的成本。
Smart Routing支持哪些编码工具？
Smart Routing原生支持Claude Code和Codex，并且通过Omnigent可以跨模型和编码工具进行优化。
Omnigent在Smart Routing中扮演什么角色？
Omnigent是Databricks的元框架（meta-harness），它允许团队在模型和编码工具之间进行优化。在Omnigent中，开发者可以选择Smart Routing，Omnigent会自动为每个任务选择最佳的编码工具和模型，模型路由由Unity AI Gateway的Smart Routing提供支持。这样，子代理（sub-agents）也可以利用不同的工具和模型，从而进一步节省成本。
Smart Routing如何评估任务的复杂度？
Smart Routing使用一个便宜、低延迟的模型来读取任务描述，并提取语义标签，包括系统变更的部分、代码证据（如代码片段、堆栈跟踪或没有）、失败的表现、修复的局部性以及项目类型。然后，路由器根据这些标签推导出任务类型和语言家族，并决定使用哪个模型：默认使用中等大小的模型，根据标签升级到更昂贵的模型或降级到更便宜的模型。
Smart Routing如何平衡成本与开发者生产力？
Smart Routing不仅优化成本，还考虑开发者生产力。它通过记录所有编码会话的轨迹到Unity Catalog，并使用AI模型和人工审查来分析这些轨迹，以评估路由器的变化。他们监控成本节省、性能保持和开发者体验等指标，确保在降低成本的同时不牺牲生产力。
Smart Routing目前面临哪些挑战？
Smart Routing面临的主要挑战是基准测试数据不可靠，因为基准任务通常表现良好，而真实会话往往不是这样。因此，他们正在研究新的方向，例如收集更多真实数据、尝试新技术，以及改进路由器的评估方法。
