Simon Willison提出“致命三要素”:AI代理若同时具备读取不可信输入、访问敏感数据、向外发送数据三种能力,易遭提示注入攻击导致数据泄露。该问题无法从模型层面修补,应在架构上缓解:进行威胁建模、采用双代理隔离模式、遵循最小权限原则、使用临时权限,并假设代理终会被欺骗,控制故障影响范围。
论文审计33,000条工具调用agent轨迹发现:低注入攻击成功率并不等于防御成功。基准判为“攻击失败”的轨迹中,76%至80%只是agent忽略了注入内容,真正安全拒绝仅约18%。仅改system prompt,同一权重ASR可在0.2%与43%间摆动;部分agent识别出注入仍照做。ASR把忽略、拒绝、识别后失守混为一谈,系统性高估防御能力。
谷歌发布Gemini 4 Argon,具备前沿网络防御能力,可发现并修补复杂软件漏洞。为防止滥用,模型设置输入筛查、内部探针监测和持续监控三层实时防护,违规行为减少近两倍。同时训练模型尊重系统边界、诚实报告,并部署实时失准监控以防止越界。提示注入攻击成功率降至0.7%。
谷歌发布Gemini 4 Argon,在编程、金融、法律、网络安全和科学等复杂任务上能力显著提升。该模型能发现医院软件关键漏洞,保护数十万患者记录。谷歌部署三层实时防护防止滥用,违规率降低近两倍,提示注入攻击成功率降至0.7%。模型还被训练尊重系统边界、诚实报告,并设有自动监控防止越界行为。
多租户AI agent直接读写企业文件时,可能被提示注入操纵而越权或破坏数据。本文介绍用Amazon FSx for NetApp ONTAP在agent之外建立数据边界:以export policy按网络身份划分租户与读写权限,用qtree和FlexClone限制会话影响范围,借助Kerberos建立可信身份,并通过FPolicy、自主勒索软件防护、NAS审计、快照与取证副本实现检测、告警、取证和恢复。
本文介绍用Python为Agent工具调用构建安全闸门:只读工具自动放行,退款等写操作需一次性审批令牌,所有操作共享累计预算。核心原则是模型只负责提出计划,执行必须在模型外验证白名单、参数、成本与人工批准,并记录审计事件,以防提示注入与令牌重放。
研究揭示专有LLM API的思维链加密漏洞:加密块使用全局密钥,可在同一供应商的不同会话间移植。攻击者可将强模型生成的加密思维链注入无防护的弱模型,诱导其转写为明文,从而造成模型蒸馏、用户密钥与密码泄露、越狱获取有害推理及隐藏提示注入等风险。修复方案包括服务端存储或将会话ID绑定到加密块;用户公开日志前应删除推理块。
南加州大学预印本审计七个开源模型作为Agent安全闸门的表现:在提示注入、越狱和有毒内容筛查上准确率仅36%至72%,部分低于随机水平。攻击面不在被审内容,仅修改选项名即可将fail-open率抬至93%至100%。现有防御均被破解,唯一稳固路径是用确定性规则解析策略字段,可达100%准确率。该论文未经同行评审,结论待复现。
红帽AI安全团队用统一基准测试了九种护栏配置。提示注入任务中,小型DeBERTa分类器以89.01%准确率几乎追平大型LLM评审模型,延迟仅54毫秒,远快于后者。内容安全任务则相反,决策模型Jev以86.20%领先,专用分类器落后约六分。开源替代方案表现接近Jev,且策略措辞会显著改变结果。红帽结论:定义明确的风险仍适合小型分类器,宽泛策略才值得用零样本模型或LLM评审。
文章以Python实现只读库存Agent为例,说明函数调用中模型仅提出调用建议,实际执行由宿主程序控制。需校验工具白名单、SKU格式与参数,限制调用次数并回传call_id。重点防范提示注入、参数外带和间接副作用;写操作须具备幂等性与审批机制,并区分模型成功与任务成功。
Anthropic发布Claude Sonnet 5.5,首次在Sonnet层级引入三阶段网络安全分类器与模型回退机制。该模型整体能力未突破前沿,但网络安全技能接近Opus 5,在Terminal-Bench 4.0上得分70.6%,超过Opus 5.5。被拦截的网络安全请求会回退至Sonnet 5处理,但API开发者需自行启用。测试显示,回退请求中12.01%遭提示注入攻破,远高于Sonnet 5.5自身的极低比例。Anthropic正调整分类器以减少误报。
谷歌发布 Gemini CLI 0.61.0,为自主编码代理增加安全限制:修改构建配置文件、执行相关构建或测试命令,以及运行参数来自不可信外部内容的 shell 命令前,均需用户明确确认;同时加固沙箱,隔离主机凭证与配置,防止间接提示注入攻击。
文章以Gemini误入真实企业系统等事件为例,揭示AI Agent越权、提示注入等安全风险。亚马逊云科技提出两条应对路径:AI for Security,用AWS Continuum自动发现、验证并修复漏洞;Security for AI,用AgentCore隔离运行、Gateway与Policy管控工具调用、Guardrails过滤内容,强调按风险逐级授权,先收紧再逐步放权。
Anthropic宣布Claude in Chrome正式上线,支持所有付费计划,可自主执行浏览器操作。为防提示注入攻击,系统采用分类器验证每个动作,并训练模型识别攻击。测试显示,最新模型在防护下攻击成功率极低,仅Fable 5有0.3%低风险成功案例。用户可从Chrome商店安装,企业版可管理设置。
2026年MCP协议更新聚焦授权,暴露原信任模型缺陷。研究显示,MCP服务器易受提示注入攻击,平均攻击成功率达36.5%。多数服务器权限过大,仅8.5%使用OAuth,超半数依赖静态密钥。企业AI活动常通过个人账户运行,超20%访问策略缺失或失效。核心问题在于组织无法区分无害工具与持有生产令牌的工具,缺乏清单和轮换机制。
WebMCP 是让网页将业务能力注册为结构化工具、供 AI Agent 直接调用的浏览器 API,由 W3C WebML 社区组孵化,Chrome 已进入 Origin Trial。它支持声明式与命令式两种接入方式,工具具有生命周期,需采用窄 Schema 与稳定命名。主要风险包括提示注入、权限错配与跨源边界问题,需通过服务端授权、审计和预览确认来兜底。目前 Safari 和 Firefox 尚未支持,宜作为渐进增强,先试点只读低风险操作。
LM Studio为AI编程助手Bionic开发了Shell Judge安全层,通过解析命令语法树和跟踪变量来评估命令风险,拦截危险操作,如git diff被变量篡改。它覆盖11,651个测试案例,处理工具参数差异。未通过的命令交由Shell Reviewer在对话上下文中评分,但仍有盲点,如假设可执行文件未被篡改,且提示注入风险存在。
OpenCode Senses是一款本地运行的视觉插件,无需API密钥,通过Moondream2模型实现图像识别、OCR和对象检测等13种工具,所有分析在本地GPU完成,300毫秒内返回结果。它采用自动注入证据机制,将图像内容标记为不可信观测数据,防止提示注入攻击。该插件免费、开源、跨平台,适合代码截图和UI测试,但性能上限低于云端大模型。
Anthropic更新了Chrome扩展,将Claude集成到浏览器中,支持跨应用持久会话,并整合技能与连接器。该扩展现面向Max和Team用户,Pro用户稍后可用。它允许Claude在浏览器中操作内部系统,但存在提示注入风险,已加强自动检测,购物或分享个人信息前仍会征求同意。企业版默认关闭,且不支持其他Chromium浏览器。
Claude Code将于8月14日起在Pro、Max和Team计划中默认启用自动模式,通过分类器拦截危险操作,减少用户确认提示。测试显示其安全性优于人工审查,能阻止89%危险命令,并有效防范提示注入攻击。企业版和API用户暂可选用,未来将全面推广。
完成下面两步后,将自动完成登录并继续当前操作。