加州大学伯克利分校RDI中心推出了一门高级大型语言模型代理的MOOC课程,旨在推动去中心化的科学与教育。课程将于2025年1月至4月进行,内容包括推理技术和代理安全,参与者可选择应用或研究轨道,完成后可获得证书。
本文讨论了大型语言模型(LM)代理的安全性和风险管理,介绍了ToolEmu框架用于测试代理的故障和风险评估。研究发现,即使是最安全的LM代理也存在23.9%的故障率,强调了开发更安全代理的必要性。此外,提出了多个框架(如AutoAgents、AgentBoard、GuardAgent等)以提高代理的性能和安全性,并解决多智能体系统中的恶意代理问题。
完成下面两步后,将自动完成登录并继续当前操作。