推出 Unity Gateway Insights

推出 Unity Gateway Insights

💡 原文英文,约500词,阅读约需2分钟。
📝

内容提要

Databricks推出Unity Gateway Insights,借助Genie自动分析数百万条AI代理会话轨迹,并结合业务数据识别token浪费,如反复出现的MCP错误、简单任务使用昂贵前沿模型、可转为共享技能的重复工作流。该工具基于完整会话记录,按工作流分类并排序浪费点,支持自定义问题并链接示例会话。此前Databricks通过轨迹分析节省约120万美元成本。

🔎

延伸解读

从“看账单”转向“看轨迹”

文章指出,团队削减AI成本常从预算或开源模型入手,但代理轨迹能揭示其他浪费点。Databricks通过离线回放发现升级模型无性能收益,修复MCP错误年省约120万美元,并因简单提示流向昂贵模型而采用智能路由。这说明成本优化需基于完整会话记录,而非仅看请求日志。

完整会话记录是分析前提

Insights能识别反复出现的MCP错误、简单任务使用前沿模型、可转为共享技能的重复工作流,但前提是拥有每个代理会话每一步的完整记录,包括输入输出、工具调用、子代理、中间步骤、延迟和token成本。独立网关只记录经过的请求,无法捕获其余部分,需自行埋点并导出轨迹。

按工作流分类并排序浪费点

Insights会采样会话并按工作类型分组为工作流,然后检查每个工作流是否存在失败的MCP工具、臃肿上下文、简单任务使用前沿模型及重复工作流,并按涉及token排序。每个发现链接到示例会话,用户还可添加最多10个自定义问题,并继续与Genie对话深入追问,例如哪个MCP服务器浪费最多token及其负责人。

❓

Q&A

Unity Gateway Insights 是什么?它主要解决什么问题?

Unity Gateway Insights 是 Databricks 推出的新工具,它使用 Genie 自动分析数百万条 AI 代理会话轨迹,并结合业务数据识别 token 浪费点,如反复出现的 MCP 错误、简单任务使用昂贵模型、可转为共享技能的重复工作流,帮助团队优化 AI 使用成本。

Unity Gateway Insights 能发现哪些类型的 token 浪费?

它能发现三类浪费:1) 反复出现的 MCP 错误;2) 简单任务运行在昂贵的前沿模型上;3) 重复的工作流值得转化为共享技能。这些发现都基于完整的会话记录,并按工作流分类和排序。

如何使用 Unity Gateway Insights 生成报告?

如果已有流量通过 Unity Gateway,可以打开 AI Gateway > Observability > Insights,选择最近一天、7 天或 30 天生成报告。报告会分析编码代理部署的 token 经济性,每个发现都链接到示例会话,还可以添加最多 10 个自定义问题,并与 Genie 继续对话深入分析。

Unity Gateway Insights 与独立网关在分析能力上有何不同?

独立网关只记录经过它的请求,而 Insights 需要完整的会话记录(包括输入输出、工具调用、子代理、中间步骤、延迟和 token 成本),这需要自行对每个编码代理进行插桩并将轨迹导出到数据平台。此外,Insights 还依赖 Genie Ontology 提供的业务地图,这是独立网关无法具备的。

Databricks 通过轨迹分析节省了哪些成本?

Databricks 通过轨迹分析发现了多个节省机会:离线回放显示从 Opus 4.8 升级到 Opus 5 没有性能提升,因此继续使用更便宜的 4.8;修复常见的 MCP 错误每年节省约 120 万美元;还发现简单提示被发送到昂贵模型,从而采用了 Smart Routing。

Unity Gateway Insights 的分析依赖于哪些关键要素?

它依赖于四个独立网关无法具备的要素:完整的会话记录(包括所有步骤和成本)、Genie Ontology 提供的业务上下文、按工作流分类的采样分析,以及基于 token 风险的排序。这些要素共同支持对 MCP 错误、上下文膨胀、模型误用和重复工作流的检测。

🏷️

标签

➡️

继续阅读