内容提要
ServiceNow 论文比较三种对话检索架构:持久检索子代理跨轮保留历史并直接回传原始证据,相比主代理自行检索,在多轮场景下节省 43.3% token、45.0% 成本,准确率仅下降 1.45 个百分点;但相比无状态子代理,它反而多用 41.4% token,只因缓存输入单价较低才未推高成本。消融实验显示,不让子代理写总结比保留历史更省钱。结论基于其自有工单集,不宜泛化。
延伸解读
省 token 与省钱是两本账
文章揭示了一个关键区别:持久检索子代理相比无状态子代理反而多用 41.4% 总 token,但成本并未更高,原因在于缓存输入单价仅为未缓存输入的十分之一。这意味着评估检索架构时,不能只看 token 消耗量,还要看 token 的构成——缓存命中率高的方案即使总量更大,账单也可能更低。读者在选型时应同时核算 token 用量和实际计价结构,避免被单一指标误导。
消融实验指向真正的成本大头
消融实验拆开两个机制后发现:去掉“直接回传证据”让子代理改写总结,成本上浮 42%;而去掉“持久历史”仅上浮 8%。前者代价是后者的 5.3 倍,且三种配置准确率都停在 89.85%。这说明省掉子代理的中间总结生成,比保留跨轮历史更能省钱。持久历史的价值主要体现在复用——同一子代理跑完 69 题只做了 23 次元数据查询和 59 次 Cypher 查询,远少于主代理自行检索的 36 次与 85 次。
结论的适用边界需留意
论文作者 5 人全部来自 ServiceNow,实验跑在自家 agent harness 和自有企业工单集上,数据集规模为 57 题、48 题和 69 题,每组配置跑 3 次取均值。准确率下降 1.45 个百分点仅出现在 69 题多轮依赖集上,且是 GPT-5.4-mini 裁判判定的宽松通过率,并非严格准确率。所有美元数字都是按录制 token 乘公开牌价的估算,不含检索服务与裁判调用。因此结论不宜泛化为所有 agent 场景。
Q&A
ServiceNow 论文中比较了哪三种对话检索架构?
论文比较了三种架构:1)skill 内检索(主 agent 自己检索);2)无状态检索子代理(每次使用新历史,返回一段 findings 总结);3)持久检索子代理(跨轮保留检索历史,并将原始证据直接交回主 agent)。
持久检索子代理相比主 agent 自行检索,在成本和 token 上能节省多少?
在 ITSM Complex 多轮场景下,持久子代理比 skill 内检索节省 43.3% 的 token 和 45.0% 的成本(按公开牌价估算),响应时间也从 58.3 秒降到 54.3 秒。跨 5 个多轮设置加权平均,每题节省 $0.157,速度快 9.1%。
持久检索子代理的准确率损失有多大?在什么场景下出现?
在 ITSM Complex 多轮依赖集上,准确率从 91.30% 降至 89.85%,下降 1.45 个百分点。该数字仅出现在 69 题多轮依赖集上,且是 GPT-5.4-mini 裁判判定的宽松通过率(得分大于 0 且判为一致即算通过),并非严格准确率。单轮场景下准确率打平甚至反超。
为什么持久检索子代理比无状态子代理多用 token 却不一定更贵?
持久子代理跨轮保留历史,导致输入 token 增加,在 ITSM Complex 上比无状态子代理多用 41.4% 的总 token。但缓存输入单价仅为未缓存输入单价的十分之一($0.25/百万 token vs $2.50/百万 token),存进缓存的历史几乎不增加成本,因此账单并未显著上升。
消融实验发现,子代理写总结和保留历史哪个更影响成本?
消融实验显示,去掉“直接回传证据”让子代理改写 findings 总结,成本上浮 42%、慢 17.7 秒;而去掉“持久历史”仅上浮 8%、慢 4.3 秒。前者代价是后者的 5.3 倍,且三种配置准确率都停在 89.85%。因此,不让子代理写总结比保留历史更省钱。
这篇论文的结论可以推广到所有 agent 系统吗?
不宜泛化。论文作者 5 人全部来自 ServiceNow,实验跑在自家 agent harness 和自家企业工单集上(ITSM 57 题、HRSD 48 题、ITSM Complex 69 题),所有 $ 数字是基于录制 token 乘公开牌价的估算,并非真实账单,也不含检索服务与裁判调用。因此结论仅适用于类似场景,不能直接推广到所有 agent。