内容提要
文章讨论AI代理在生产环境中的七种失败模式及回归检测方法。核心观点是工具调用成功不等于任务完成,需用统一运行ID和独立状态(提议、拒绝、等待、完成)追踪。七种失败为:工具参数契约不符、依据错误或过期数据推理、把检索到的指令当授权命令、合法调用越权、重试导致重复副作用、丢失状态或过早宣称完成、无进展仍持续运行。每种失败配小型回归测试,发布前故意触发,并对照正常样本验证。
延伸解读
统一运行ID与独立状态:让失败可观测
文章强调,工具调用成功不等于任务完成。每个运行需有统一ID,串联工具调用、验证决策、读取的源版本、外部回执和最终状态。同时,提议、拒绝、等待审批、完成等状态必须分开记录,避免混淆。这样,无论代理最后说什么,都能从记录中判断任务是否真正完成。采样追踪只是样本,未插桩的步骤缺失不代表成功,需结合离线评估与生产观察。
七种失败模式对应七类回归检查
七种失败包括:工具参数契约不符、依据错误或过期数据推理、把检索指令当授权命令、合法调用越权、重试导致重复副作用、丢失状态或过早宣称完成、无进展仍持续运行。每种失败都配一个小型回归测试,发布前故意触发,并对照正常样本验证。例如,契约检查用严格模式拒绝类型转换和多余字段;越权检查用负向测试验证拒绝且状态不变;重试检查用操作ID保证幂等。
从失败运行中提炼回归用例
文章建议,从团队有权检查的失败运行中提取问题形状,去除文档内容和标识符,保留错误参数、版本、注入行、越权查询、丢失确认、虚假完成、重复查询等模式,做成带正控的测试夹具。记录模型、提示哈希、工具模式版本和策略版本,任何变更后重跑,确保故障触发而控制组安静,且最终状态正确。滚动积累真实事件比预先编写大套件更有效,但不能替代人工抽样审查。
Q&A
AI代理在生产环境中常见的失败模式有哪些?
文章总结了七种失败模式:1) 工具参数契约不符;2) 依据错误或过期数据推理;3) 把检索到的指令当授权命令;4) 合法调用越权;5) 重试导致重复副作用;6) 丢失状态或过早宣称完成;7) 无进展仍持续运行。
如何为AI代理的每次运行建立可观测的追踪机制?
为每次运行分配统一的运行ID,并让每个工具调用、验证或授权决策、读取的源版本、外部系统返回的收据以及最终任务状态都携带该ID。使用OpenTelemetry的关联追踪和跨度(span)结构,一个trace代表运行,每个步骤一个span,子span指明父span,从而将收据span关联回调用span。同时区分提议、拒绝、等待批准和完成等独立状态。
如何防止AI代理因重试而导致重复操作?
在首次尝试前生成一个操作ID(如tenant-A:INV-17:review-v1),并在每次重试时携带相同的ID。服务端通过该ID识别重试,返回已发出的收据。如果相同ID但参数不同,则返回409错误。这样可避免盲重试(每次新ID)导致存储两条记录。
AI代理如何避免把检索到的指令误当作授权命令?
需要将提议事件和执行日志分开检查:查看模型是否提议了未授权的调用(如export_all_documents),以及是否有任何执行发生。如果模型提议了,需改进提示或模型;如果执行了,则控制失效。使用对抗性内容测试,将模型视为不可信用户,并确保特权功能保留在应用代码中。
如何检测AI代理是否在无进展的情况下持续运行?
需要同时设置预算和进展信号。预算包括动作数量、时间截止和花费估算,但仅有预算不够,因为代理可能重复相同查询。通过比较状态哈希,如果连续两次动作后状态未变,则停止运行。终端状态应记录为budget_exhausted,并保留任务状态(如waiting_approval)和收据(null)。
如何为AI代理的失败模式构建回归测试?
从一次允许检查的失败运行中提取失败形状(如字符串金额、v1读取、注入行、跨租户查询、丢失确认、虚假完成、第三次相同查询),构建包含正控制(正常样本)的测试夹具。记录模型、提示哈希、工具模式版本和策略版本。每次这些变更时运行测试对,验证故障时信号触发且控制时安静,并检查最终状态是否符合预期(如该有收据时有,不该有则无)。