智能体AI的问题不在模型,而在检索。

智能体AI的问题不在模型,而在检索。

💡 原文英文,约2200词,阅读约需8分钟。
📝

内容提要

BrowseComp-Plus测试显示,GPT-4.1直接获得支持文档时准确率为93.49%,但使用BM25检索时仅14.58%,表明模型智能无法弥补未检索到的证据。智能体搜索需多次并行检索,检索质量、尾延迟和查询量至关重要。应让智能体使用过滤器、排序策略等丰富接口,并通过Schema-to-Skill将模式转化为可用的检索技能。

🔎

延伸解读

检索质量决定智能体上限

BrowseComp-Plus测试显示,GPT-4.1在直接获得支持文档时准确率达93.49%,但使用BM25检索时骤降至14.58%。Qwen3-32B同样从83.25%跌至3.49%。这表明模型智能无法弥补未检索到的证据。在智能体工作流中,检索质量直接决定最终答案的准确性,因此优化检索应优先于升级模型。

智能体搜索的规模挑战

智能体任务可能触发数百甚至数千次检索操作,且常并行执行。若一个任务并行发起十次搜索,最慢的搜索决定该步骤的耗时,尾延迟因此比单次交互查询更关键。同时,用户请求量看似不高,但检索层可能承受巨大压力。容量规划需考虑查询量、并行度和尾延迟。

丰富检索接口与Schema-to-Skill

智能体不应仅发送短文本查询,而应能使用过滤器、排序策略、分组等丰富接口。Vespa通过查询语言和排名配置文件暴露这些控制。Schema-to-Skill将应用模式、引擎指南和领域知识转化为Markdown技能,帮助智能体理解字段含义和可用操作,从而选择正确的检索策略,避免退化为自由文本查询。

评估应基于生产查询

传统检索评估多使用人工编写的短问题,但智能体生成的查询可能包含过滤器、搜索词和后续查询,行为差异显著。因此,检索质量应基于智能体在生产中实际发送的查询来衡量,而非仅评估集问题。在调整模型或检索参数前,先检查生产查询,才能发现真实瓶颈。

❓

Q&A

为什么说智能体AI的问题不在模型,而在检索?

因为模型智能无法弥补未检索到的证据。在BrowseComp-Plus测试中,GPT-4.1直接获得支持文档时准确率为93.49%,但使用BM25检索时准确率仅14.58%,说明检索质量决定了模型能发挥的上限。

BrowseComp-Plus测试中GPT-4.1的准确率差异有多大?

GPT-4.1在直接获得支持文档时准确率为93.49%,而使用BM25检索时准确率降至14.58%。Qwen3-32B同样从83.25%降至3.49%。

智能体搜索为什么需要关注尾延迟和查询量?

智能体搜索会并行发起多次检索,一个任务可能触发数百次搜索。如果并行搜索需要等待所有结果,最慢的搜索决定该步骤的耗时,尾延迟影响更大;同时查询量倍增,检索层负载远高于用户请求量。

智能体搜索与传统搜索在接口需求上有什么不同?

传统搜索通常只接受短文本查询并返回排序结果。智能体可以使用更丰富的接口,包括精确词项、过滤器、日期、分组、多种排序策略等,并能链式发起后续搜索。检索层需要接收词项、嵌入、结构化过滤器等多种输入。

什么是Schema-to-Skill?它如何帮助智能体检索?

Schema-to-Skill是将Vespa应用模式、引擎指南和应用特定知识结合,生成一段简短的Markdown技能描述,供智能体在构造查询时参考。它让智能体了解可用字段、过滤器和排序选项的含义,从而选择正确的检索策略。

在智能体工作流中,为什么检索质量比模型能力更关键?

因为智能体通常缺乏背景知识,需要从检索到的证据中构建理解。如果早期检索结果错误,后续搜索可能继续错误,导致任务偏离。多次检索步骤中,每步的小缺陷会累积,降低整体成功率。

🏷️

标签

➡️

继续阅读