文章讨论如何为AI代理构建端到端评测以衡量其完成用户任务的成功率。作者以咖啡下单CLI为例,提出代理测试金字塔(确定性测试、单轮评测、端到端评测),并给出五步流程:设定目标、定义指标(成功率、pass@k、pass^k、步数、时间、成本)、设计任务集、用Harbor运行评测、分析轨迹找出失败根因并迭代改进。
完成下面两步后,将自动完成登录并继续当前操作。