内容提要
文章以美团《Agent评测白皮书》第二篇为引,讨论商家AI助手接入后端前的评测落地。核心观点:Agent请求成功不等于验收合格,须先明确巡检任务边界与异常样例;自动评分器可能偏爱措辞完整的回答,需用人工样例校准;评测应嵌入发布流程,变更前后回归并控制成本;接入时先只读运行、保留调用记录,再逐步开放写入。
延伸解读
“请求成功”不等于“任务完成”
文章强调,Agent 即使正常返回,也可能漏查对象或基于过期信息给出看似合理的结论。因此验收不能只看接口是否成功,而要先明确巡检任务边界:检查哪些配置、哪些只能提醒、哪些需人工确认。测试样例也应覆盖配置缺失、接口超时、字段不一致等异常情况,助手能停下来说明无法判断,可能比硬给结论更合格。
自动评分器需要人工样例校准
文章指出,用另一个模型给答案打分时,评分器可能偏爱措辞完整、语气肯定的回复,导致谨慎的回答反而吃亏。建议保留一小批人工确认过的样例,专门检查自动评分与人工判断冲突的地方。涉及工具调用时,能直接核对的事实就直接核对,比如是否查了目标对象、参数是否越权、失败后有没有继续执行,不必都交给模型判断。
评测应嵌入发布流程并控制成本
文章认为,把评测只当成选模型的排行榜有些可惜。提示词调整、知识更新、工具接口变更都可能改变任务结果,因此业务样例应放进发布流程,变更前后跑一遍,出错时能定位到版本和工具返回。同时要给评测算成本,小团队可先让高风险场景挡住发布,其他样例定期补跑,避免测试集与真实业务脱节。
接入后端宜先只读再开放写入
文章建议,把 Agent 接进已有后端时,先让它只读运行并保留调用记录,再拿真实失败补充回归样例。等确认它知道什么时候该停,才考虑开放写入。比起急着挑一个榜单分数更高的模型,这样更容易判断自己到底敢交给它什么工作,也能降低误操作带来的风险。
Q&A
为什么说Agent请求成功不等于验收合格?
因为Agent即使正常返回,也可能漏查对象、使用过期信息给出看似合理的结论,所以请求成功不能作为验收标准。
自动评分器可能有什么问题?如何校准?
自动评分器可能偏爱措辞完整、语气肯定的回答,导致谨慎的回答得分低。应保留人工确认的样例,检查自动评分与人工判断冲突的地方,并对工具调用等事实直接核对。
如何把评测嵌入发布流程?
将业务样例放入发布流程,在变更前后跑一遍回归测试,出错时能定位到版本和工具返回。同时控制成本,可让高风险场景挡住发布,其他样例定期补跑。
Agent接入后端时应该采取什么策略?
先让Agent只读运行,保留调用记录,用真实失败补充回归样例,确认它知道何时该停后再考虑开放写入。
设计巡检任务时,任务边界和测试样例要注意什么?
需明确检查哪些配置、哪些只能提醒、哪些需人工确认;测试样例应包含配置缺失、接口超时、数据不一致等异常情况,助手能停下说明无法判断可能比硬给结论更合格。
小团队如何控制评测成本?
不必每次跑全套样例,可先让高风险场景挡住发布,其他样例定期补跑;样例数量取决于误操作损失和团队维护能力,需定期更新测试集。