基于大模型的Agent进行测试评估的3种方案
内容提要
本文介绍了几种测试方案，用于评估基于大模型的Agent在不同环境和任务中的表现。其中包括AgentBeach、ToolEmu和Agent执行轨迹评估。AgentBeach是一个测试工具，包括8个环境，用于测试Agent在不同场景下的能力。ToolEmu是一个仿真框架，用于安全测试和自动化发现故障场景。Agent执行轨迹评估通过观察Agent在执行任务过程中的动作和响应来评价其表现。此外，还介绍了Agent轨迹跟踪的应用和FireAct技术的使用。
延伸解读
企业级Agent测试的容错率分级策略
文章指出，企业引入Agent时不必照搬AgentBeach的8个环境，而应根据自身需求场景的容错率低、中、高进行区分，并制定相应的通过率指标。通过测试后再决定是否采用乙方Agent服务。这一策略强调测试应服务于业务目标，而非追求通用基准的全面覆盖。
ToolEmu：安全测试与故障场景自动化发现
ToolEmu专注于Agent的安全测试，通过仿真框架模拟多样化工具集，并包含对抗性仿真器来模拟可能导致故障的情景，以及自动安全评估器来量化风险严重性。对于计划将Agent集成到产品中的团队，ToolEmu提供了一种在沙盒环境中识别潜在严重故障的方法，有助于提前发现并改善代理的弱点。
执行轨迹评估：过程与结果并重
与仅关注最终结果的评估不同，Agent执行轨迹评估通过分析Agent执行任务中的动作和响应，从全面性、逻辑性、效率性和正确性四个维度评价其表现。文章提到，这种思路还可用于微调垂直场景模型，如FireAct技术利用GPT-4生成的500个操作轨迹微调Llama2-7B，在HotpotQA任务上表现提高了77%。
Q&A
AgentBeach 是什么？它包含哪些测试环境？
AgentBeach 是由清华大学、俄亥俄州立大学和加州大学伯克利分校的研究者设计的测试工具，包含 8 个环境：操作系统、数据库操作、知识图谱、卡牌对战、情景猜谜、居家场景、网络购物和网页浏览。
ToolEmu 的主要功能是什么？
ToolEmu 是一个仿真框架，用于对基于大模型的 Agent 进行安全测试，通过模拟多样化的工具集，自动化地发现真实世界中的故障场景，并提供对抗性仿真器和自动安全评估器来识别和量化风险。
Agent 执行轨迹评估有什么作用？
Agent 执行轨迹评估通过观察 Agent 在执行任务过程中的动作和响应，全面评价其表现，包括全面性、逻辑性、效率性和正确性，帮助评估 Agent 的决策过程和工具使用是否合理。
FireAct 技术是什么？它有什么效果？
FireAct 是一种用于微调特定垂直场景 Agent 任务模型的技术，它使用 GPT-4 生成的 500 个 Agent 操作轨迹来微调 Llama2-7B 模型，使其在 HotpotQA 任务上的表现提高了 77%。
企业级 Agent 测试时如何根据容错率制定策略？
企业级 Agent 测试不必严格按 AgentBeach 的环境区分，但需要根据自身需求场景的容错率低、中、高进行区分，制定相应的通过率指标，测试后决定是否采用乙方 Agent 服务。
AgentBeach 的 8 个环境分别测试哪些能力？
操作系统测试 bash 环境下的文件操作和用户管理；数据库操作测试 SQL 操作；知识图谱测试信息提取；卡牌对战测试策略决策；情景猜谜测试横向思维；居家场景测试目标分解；网络购物测试自主推理和决策；网页浏览测试跨网站复杂任务。
