AgentMonitor:一种可插拔的框架,用于预测和保障多智能体系统
原文中文,约400字,阅读约需1分钟。发表于: 。本研究解决了多智能体系统(MAS)配置困难的问题,特别是在任务执行前预测其性能的挑战。提出的AgentMonitor框架通过实时捕捉代理的输入输出,训练回归模型进行性能预测,并在此基础上增强MAS的安全性,能够有效减少有害内容并增加有用内容。实验结果表明,该框架显著提升了安全性与可靠性。
研究人员引入了ToolEmu框架,用于模拟工具执行和评估代理的安全性。通过测试,发现ToolEmu能够识别出真实世界中的代理故障。对36个高风险工具和144个测试案例进行定量风险分析,发现即使是最安全的LM代理也有23.9%的故障率,强调了开发更安全的LM代理的必要性。