美团技术团队发布《Agent评测白皮书》连载,首篇为评测全览。文章指出Agent评测应作为上线闸门,而非考卷,需关注失败状态、重试幂等、人工接管和日志可还原性。冷启动阶段应划定能力边界,明确能查、能改、能建议和必须停止的情形。扩量后维护成本上升,评测应像回归测试,拆细事实、工具调用、越权和可解释性标准,而非压成总分。建议小团队先用真实工单做可重复用例,接入日志告警,逐步放开权限。
完成下面两步后,将自动完成登录并继续当前操作。