AgentMonitor：一种可插拔的框架，用于预测和保障多智能体系统
内容提要
本文讨论了大型语言模型（LM）代理的安全性和风险管理，介绍了ToolEmu框架用于测试代理的故障和风险评估。研究发现，即使是最安全的LM代理也存在23.9%的故障率，强调了开发更安全代理的必要性。此外，提出了多个框架（如AutoAgents、AgentBoard、GuardAgent等）以提高代理的性能和安全性，并解决多智能体系统中的恶意代理问题。
延伸解读
多智能体系统的安全风险与量化评估
文章指出，LM代理和工具的进步带来了数据泄露和财务损失等风险。ToolEmu框架通过模拟工具执行，无需手动实例化即可测试代理，并量化风险。研究发现，即使最安全的LM代理也有23.9%的故障率，其中68.8%的故障可能真实发生。这强调了在部署前进行严格安全评估的必要性，并提供了可量化的风险指标。
防御框架与攻击方法的对抗态势
为提升安全性，GuardAgent通过检查输入/输出满足保护要求，准确率高达98.7%和90.0%。然而，AgentPoison后门攻击针对长期记忆或RAG知识库，成功率超过80%，且对正常性能影响小于1%。AgentDojo框架则评估对抗鲁棒性，强调需要新设计原则。这显示了攻防双方持续演进的态势，防御措施需不断更新以应对新型攻击。
多智能体结构韧性及评估基准进展
针对多智能体系统中的恶意代理，研究发现层次化结构在应对恶意行为时韧性更优，性能下降幅度最低，并提出了两种防御方法。同时，AgentBoard和Cybench等评估框架促进了性能可解释性和网络安全评估准确性，Cybench通过引入子任务将成功率提高3.2%。这些进展为构建更稳健的多智能体系统提供了结构和评估基础。
Q&A
ToolEmu框架的主要功能是什么？
ToolEmu框架用于模拟工具执行，测试LM代理并量化风险。
研究发现LM代理的故障率是多少？
研究发现即使是最安全的LM代理也存在23.9%的故障率。
AutoAgents框架如何提高代理的性能？
AutoAgents框架通过动态生成和协调多个专门的代理，提供更连贯和准确的解决方案。
GuardAgent的准确性如何？
GuardAgent在两个基准测试中实现了对无效输入和输出的调节准确性分别为98.7%和90.0%。
AgentDojo框架的目的是什么？
AgentDojo框架用于评估AI代理的对抗鲁棒性，强调新设计原则的必要性。
多智能体系统中如何应对恶意代理？
研究发现层次化结构在应对恶意行为时更具韧性，并提出了增强系统韧性的方法。
