一分钟读论文:《你的 AI 智能体,烧掉多少钱是白花的?》

一分钟读论文:《你的 AI 智能体,烧掉多少钱是白花的?》

💡 原文中文,约1700字,阅读约需4分钟。
📝

内容提要

UIUC等机构论文将AI智能体的“浪费”定义为可删除且不影响验证的推理片段,如复述、重复取数、凑字和绕远路。实验覆盖4个基准、6款模型,发现约18%的输出token属于浪费;在线剪枝删除41%–46%的推理内容后成绩基本不降,全部删除则明显下滑。浪费分布高度集中,少数长轨迹占据大量轮次。增加推理预算的边际收益递减,从高档到最高档新增的token多花在结果不变的任务上。省钱的关键是剪掉这些标记片段,而非压低推理预算。

🔎

延伸解读

“浪费”有了可验证的操作定义

论文没有停留在“推理冗长”的直觉上,而是用LLM裁判标记四类片段(复述、重复取数、凑字、绕远路),再删除重放以验证任务表现是否受影响。删除实验显示,被标记片段对后续决策的影响比删除全部推理小一个量级,说明它们确实可安全移除。这为智能体开销分析提供了可复现的测量口径,而非主观判断。

剪枝空间大,但别误解为全量浪费

跨轨迹统计中约18%的输出token被标为浪费,这是衡量剪枝空间的基准量;而在线剪枝删除复述与凑字两类可达41%–46%,因为剪枝针对的是可安全移除的片段集合,与全量浪费标记口径不同。读者需注意这两个数字并非同一概念,不能简单相加或互换。

浪费高度集中,长轨迹是主要来源

浪费分布极不均匀:MCP-Atlas上约10%的OpenHands轨迹占了73%的轮次,SWE-bench Verified上长轨迹约占40%的轮次。这意味着优化重点应放在少数超长轨迹上,而非均匀压缩所有推理。同时,超过45%的任务里,单个智能体的浪费输出比另一个成功解出同题智能体的全部输出还多,提示浪费与成功并非简单负相关。

加预算的边际收益有台阶,省钱靠剪枝而非压预算

以Kimi-K3为例,从低档到高档多花0.99百万token,成功率从69.7%升至78.4%;再从高档到最高档多花0.80百万token,成绩无可测提升,新增token中81%花在结果不变的任务上。最高档每轨迹推理token是低档的6.6倍,浪费比例仅从23.7%变到24.9%,同一批可解任务上贵1.62倍。多烧的钱买的是更长路径,而非更多废话。该曲线仅为单模型口径,不宜外推至全部前沿模型。

❓

Q&A

AI智能体浪费的钱具体指什么?

论文将“浪费”定义为可删除且不影响任务验证的推理片段,具体分为四类:复述(Restate)、重复取数(Duplicate-Fetch)、凑字(Padding)和绕远路(Detour)。这些片段被LLM裁判标记后,删除并重放执行,验证任务表现不受影响。

AI智能体输出中浪费的token占比大概多少?

跨轨迹统计显示,约18%的输出token被标记为浪费。这是衡量剪枝空间的基准量。

剪掉智能体的部分推理内容会影响任务成绩吗?

在线剪枝实验表明,删除复述与凑字两类内容后,成绩基本不降。例如SWE-bench Verified上删41%后solved从89.0微升至89.5,MCP-Atlas上删46%后从65.0降至62.3;但全部删除则明显下滑(分别崩到73.0和56.0)。

增加推理预算能持续提升AI智能体的成功率吗?

不能,边际收益递减。以Kimi-K3为例,从低档到高档多花0.99百万token,成功率从69.7%升到78.4%;再从高档到最高档多花0.80百万token,成绩无可测提升,且新增token中81%花在结果不变的任务上。

智能体的浪费分布有什么特点?

浪费分布高度不均且集中。在超过45%的任务里,单个智能体浪费的输出比另一个成功解出同题的智能体的全部输出还多。MCP-Atlas上约10%的OpenHands轨迹占了73%的轮次,SWE-bench Verified上长轨迹约占40%的轮次。

如何有效节省AI智能体的推理成本?

省钱的关键是剪掉被标记的浪费片段(如复述、凑字),而非一刀切压低推理预算。因为多烧的钱买的是更长的路径,不是更多的废话;剪枝可删除41%–46%的推理内容而成绩基本不降。

🏷️

标签

➡️

继续阅读