AI智能体搜索账单暴涨48倍真相：检索税正在吃掉你的token
内容提要
企业架构与智能体设计中，AI智能体因网页搜索返回碎片信息，反复抓取页面导致token消耗暴涨48倍。自建索引预先清洗网页为完整文档，一次调用直接推理，成本降76%。三种检索方式中，自建索引支持跨记录查询，解锁复杂问题，且与开放搜索分工，分别负责发现与深度查询，显著降低检索税。
延伸解读
检索税的本质：上下文窗口中的隐性开销
文章指出，智能体通过搜索API获取的只是链接和摘要，必须自行抓取HTML、解析文本，这些操作都在上下文窗口内按token计费。这种“检索税”不仅单次开销大，而且随着多轮搜索，上下文不断膨胀，税基越滚越大，导致成本呈复利式增长。理解这一点，有助于开发者重新审视搜索调用在整体成本中的占比。
自建索引的适用边界：并非万能替代
自建索引虽能大幅降低检索成本并支持跨记录查询，但文章明确其更新周期以天或周计，无法覆盖分钟级的新信息。因此，它更适合目标明确、需要完整信息的深度查询，而开放搜索在发现新信息、追踪突发事件方面仍不可替代。实际应用中应根据查询类型选择工具，而非盲目替换。
跨记录查询：解锁碎片搜索无法回答的问题
文章通过GTM团队案例说明，某些问题（如“上个季度哪些目标账户招了数据或AI方向的领导”）需要结合职位履历和新闻事件才能回答，而这类答案不存在于任何单一搜索结果中。自建索引因持有完整记录，才能实现这种“join”查询，从而解锁新的应用场景，如B2B销售、投资研究等。
Q&A
为什么AI智能体使用网页搜索时token消耗会暴涨48倍？
因为搜索API返回的是链接和摘要等碎片信息，智能体需要反复抓取页面、解析HTML、提取文本，这些操作都在上下文窗口中按token计费，导致token消耗暴涨。实验显示，三跳循环搜索的token消耗比纯记忆回答贵48倍。
什么是检索税？
检索税是指AI智能体在真正推理之前，为了获取和清洗网页内容而消耗的额外token。搜索API返回碎片信息，智能体需要自行抓取页面、解析HTML、提取文本，这些预处理操作按token计费，且每轮搜索都会重复收取，导致成本累积。
自建索引相比SERP和神经搜索有什么优势？
自建索引在查询前就爬取并清洗网页，返回完整文档，智能体可直接推理，无需二次调用，检索税为零。而SERP返回链接和摘要，神经搜索返回高亮片段，都需要额外调用获取完整信息。实验显示，自建索引的token消耗比搜索循环低4倍多。
什么是跨记录查询？为什么它很重要？
跨记录查询是指答案需要结合多条记录才能得出的查询，例如“上个季度哪些目标账户招了数据或AI方向的领导”。这种查询需要完整的职位履历和近期新闻，而SERP和神经搜索无法提供完整记录，只有自建索引才能支持，从而解锁这类复杂问题。
如何降低AI智能体的搜索成本？
采用自建索引，预先清洗网页为完整文档，一次调用直接推理，可降低76%的token成本。同时，将开放搜索和自建索引分工：开放搜索负责发现，自建索引负责深度查询，这样每次迭代都更便宜。
开放搜索和自建索引应该如何分工？
开放搜索擅长发现，适合时效性强、信息分散的查询，如查最新职位、突发事件；自建索引擅长深度查询，适合目标明确、需要完整信息的场景，如查完整履历、读全文。两者应链起来，发现阶段用开放搜索，深度阶段用自建索引。
