内容提要
文章讨论如何为AI代理构建端到端评测,以衡量其是否真正完成用户任务。作者提出“代理测试金字塔”,由确定性测试、单轮评测和端到端评测组成,成本依次递增。文章以咖啡下单CLI为例演示五步流程:设定目标、定义指标(成功率、pass@k、pass^k、步数、时间、成本)、设计含边界与不可行请求的任务集、用Harbor并行运行、分析轨迹找出失败根因并迭代改进。
延伸解读
为什么端到端评测对代理至关重要
文章指出,代理作为软件的用户,其成功与否取决于是否完成用户任务。单轮评测只能检查单个决策,而成功依赖整个步骤序列,因此需要端到端评测。例如,代理可能成功下单却送错饮品,日志看似正常,但用户需求未满足。端到端评测在环境中运行完整任务,检查最终结果是否符合要求,类似SWE-bench等基准。
选择正确的可靠性指标:pass@k与pass^k
文章强调,pass@k衡量k次尝试中至少一次成功的概率,回答“代理能否做到”;pass^k衡量k次全部成功的概率,回答“能否每次都可靠”。选择取决于失败成本:早晨咖啡订单失败代价高,应优化pass^k;编码代理有测试反馈可重试,适合pass@k。仅看平均成功率可能掩盖特定任务的频繁失败,需按任务检查结果。
从轨迹分析中定位失败根因
评测分数只告诉失败频率,轨迹揭示原因。文章示例中,代理因未比较报价而超预算,轨迹显示它直接下单。通过分析失败和部分成功轨迹,可发现具体问题,如代理未搜索就放弃不可行请求,从而改进验证器或产品设计。自动化轨迹分析可用多个阅读代理并行总结,协调代理整合发现,提高大规模评测效率。
评测饱和与持续迭代
文章提醒,随着模型和产品改进,评测可能饱和,即代理通过所有任务。饱和的评测仍能捕捉回归,但无法指导下一步改进。因此需要定期添加更难的任务,保持评测的挑战性。评测应作为持续基础设施,用于每次发布前检查回归、测试提示和模型变更,并基于结果迭代优化产品。
Q&A
为什么说AI代理现在也是软件的用户?
因为代理会代表人类使用软件完成任务,无论是构建代理还是构建代理使用的软件(API、CLI、MCP服务器、SDK),都需要通过评测来衡量任务完成得如何。
代理测试金字塔包含哪几层?各层有什么区别?
代理测试金字塔包含三层:确定性测试(0次LLM调用)、单轮评测(1次LLM调用)和端到端评测(2次以上LLM调用)。层数越高,构建 effort、运行时间和成本越大,因此便宜快速的测试应占测试套件的大部分。
如何为AI代理构建一个端到端评测?
构建端到端评测分五步:1)设定一个用户关心的具体目标;2)定义指标(成功率、pass@k、pass^k、步数、时间、成本);3)设计包含常见案例、边界案例和不可行请求的任务集;4)用Harbor并行运行评测;5)分析轨迹找出失败根因并迭代改进。
pass@k和pass^k有什么区别?分别适用于什么场景?
pass@k是k次试验中至少一次通过的概率,回答“代理到底能不能做到”;pass^k是k次试验全部通过的概率,回答“能否每次都可靠”。如果失败代价高(如早晨咖啡订单),应关注pass^k;如果失败可廉价重试(如编码代理有测试套件),可关注pass@k。
设计评测任务集时应该包含哪些类型的任务?
好的任务集应覆盖常见案例、容易让代理出错的边界案例,以及至少一个正确做法是不采取行动的请求(不可行请求)。每个任务需定义指令、环境、验证器(最好按约束分别评分)和可选的已知良好解决方案。
分析轨迹时发现了哪些常见失败原因?如何改进?
常见失败包括:代理未检查总价(如忽略税费和小费导致超预算)、代理不知道工具存在(发现阶段失败)、代理未在shell中运行CLI(访问阶段失败)、代理未搜索就放弃(验证器不严导致误判通过)。改进方法包括:在指令中明确工具名称、添加--max-total标志强制预算检查、收紧验证器要求搜索行为等。