文章讨论如何为AI代理构建端到端评测,以衡量其是否真正完成用户任务。作者提出“代理测试金字塔”,由确定性测试、单轮评测和端到端评测组成,成本依次递增。文章以咖啡下单CLI为例演示五步流程:设定目标、定义指标(成功率、pass@k、pass^k、步数、时间、成本)、设计含边界与不可行请求的任务集、用Harbor并行运行、分析轨迹找出失败根因并迭代改进。
完成下面两步后,将自动完成登录并继续当前操作。