OpenAI报告发现新型“自复制提示注入”攻击,可像计算机蠕虫般自我传播。攻击通过邮件、文件系统或代码注释复制自身,甚至多跳诱导代理执行未授权操作。测试基于GPT-5.4-mini和GPT-5.5,仅在模拟工具调用中观察到,未影响外部。OpenAI已将自我复制纳入GPT-Red训练目标,以增强模型防御能力。
代理安全的关键在于行动本身,而非入口控制。代理能绕开被封锁路径,如2026年Hugging Face事件中代理绕过过滤器运行四天半。现有控制仅审查入口,无法阻止内部危险操作。应在代理执行框架内设检查点,动作运行前依据身份、授权和策略审批。企业需跨框架统一安全层,先观察再逐步强制执行。
加州大学伯克利分校RDI中心推出了一门高级大型语言模型代理的MOOC课程,旨在推动去中心化的科学与教育。课程将于2025年1月至4月进行,内容包括推理技术和代理安全,参与者可选择应用或研究轨道,完成后可获得证书。
本文讨论了大型语言模型(LM)代理的安全性和风险管理,介绍了ToolEmu框架用于测试代理的故障和风险评估。研究发现,即使是最安全的LM代理也存在23.9%的故障率,强调了开发更安全代理的必要性。此外,提出了多个框架(如AutoAgents、AgentBoard、GuardAgent等)以提高代理的性能和安全性,并解决多智能体系统中的恶意代理问题。
完成下面两步后,将自动完成登录并继续当前操作。