小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate
致命三要素

Simon Willison提出“致命三要素”:AI代理若同时具备读取不可信输入、访问敏感数据、向外发送数据三种能力,易遭提示注入攻击导致数据泄露。该问题无法从模型层面修补,应在架构上缓解:进行威胁建模、采用双代理隔离模式、遵循最小权限原则、使用临时权限,并假设代理终会被欺骗,控制故障影响范围。

致命三要素

Alex Ewerlöf Notes Alex Ewerlöf Notes · 2026-10-26T05:30:43Z
一分钟读论文:《低攻击成功率掩盖了什么?》

论文审计33,000条工具调用agent轨迹发现:低注入攻击成功率并不等于防御成功。基准判为“攻击失败”的轨迹中,76%至80%只是agent忽略了注入内容,真正安全拒绝仅约18%。仅改system prompt,同一权重ASR可在0.2%与43%间摆动;部分agent识别出注入仍照做。ASR把忽略、拒绝、识别后失守混为一谈,系统性高估防御能力。

一分钟读论文:《低攻击成功率掩盖了什么?》

Micropaper Micropaper · 2026-10-19T00:00:00Z

谷歌发布Gemini 4 Argon,具备前沿网络防御能力,可发现并修补复杂软件漏洞。为防止滥用,模型设置输入筛查、内部探针监测和持续监控三层实时防护,违规行为减少近两倍。同时训练模型尊重系统边界、诚实报告,并部署实时失准监控以防止越界。提示注入攻击成功率降至0.7%。

负责任且安全地开发 Gemini 4 Argon

Google DeepMind Blog Google DeepMind Blog · 2026-10-13T19:43:07Z

谷歌发布Gemini 4 Argon,在编程、金融、法律、网络安全和科学等复杂任务上能力显著提升。该模型能发现医院软件关键漏洞,保护数十万患者记录。谷歌部署三层实时防护防止滥用,违规率降低近两倍,提示注入攻击成功率降至0.7%。模型还被训练尊重系统边界、诚实报告,并设有自动监控防止越界行为。

负责任且安全地开发 Gemini 4 Argon

The Keyword The Keyword · 2026-10-13T18:00:00Z
多租户 AI agent 的数据安全:Amazon FSx for NetApp ONTAP 的访问边界与会话防护

多租户AI agent直接读写企业文件时,可能被提示注入操纵而越权或破坏数据。本文介绍用Amazon FSx for NetApp ONTAP在agent之外建立数据边界:以export policy按网络身份划分租户与读写权限,用qtree和FlexClone限制会话影响范围,借助Kerberos建立可信身份,并通过FPolicy、自主勒索软件防护、NAS审计、快照与取证副本实现检测、告警、取证和恢复。

多租户 AI agent 的数据安全:Amazon FSx for NetApp ONTAP 的访问边界与会话防护

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2026-10-13T09:40:19Z
Python Agent 工具调用:审批令牌、参数白名单和累计预算

本文介绍用Python为Agent工具调用构建安全闸门:只读工具自动放行,退款等写操作需一次性审批令牌,所有操作共享累计预算。核心原则是模型只负责提出计划,执行必须在模型外验证白名单、参数、成本与人工批准,并记录审计事件,以防提示注入与令牌重放。

Python Agent 工具调用:审批令牌、参数白名单和累计预算

Java for You Java for You · 2026-10-13T02:42:12Z
读论文: 偷走大模型的思考链

研究揭示专有LLM API的思维链加密漏洞:加密块使用全局密钥,可在同一供应商的不同会话间移植。攻击者可将强模型生成的加密思维链注入无防护的弱模型,诱导其转写为明文,从而造成模型蒸馏、用户密钥与密码泄露、越狱获取有害推理及隐藏提示注入等风险。修复方案包括服务端存储或将会话ID绑定到加密块;用户公开日志前应删除推理块。

读论文: 偷走大模型的思考链

Measure Zero Measure Zero · 2026-10-11T00:00:00Z
一分钟读论文:《改一个选项的名字就能打开安全闸门》

南加州大学预印本审计七个开源模型作为Agent安全闸门的表现:在提示注入、越狱和有毒内容筛查上准确率仅36%至72%,部分低于随机水平。攻击面不在被审内容,仅修改选项名即可将fail-open率抬至93%至100%。现有防御均被破解,唯一稳固路径是用确定性规则解析策略字段,可达100%准确率。该论文未经同行评审,结论待复现。

一分钟读论文:《改一个选项的名字就能打开安全闸门》

Micropaper Micropaper · 2026-10-10T00:00:00Z
在笔记本电脑上运行、几乎媲美35B模型的AI安全检查

红帽AI安全团队用统一基准测试了九种护栏配置。提示注入任务中,小型DeBERTa分类器以89.01%准确率几乎追平大型LLM评审模型,延迟仅54毫秒,远快于后者。内容安全任务则相反,决策模型Jev以86.20%领先,专用分类器落后约六分。开源替代方案表现接近Jev,且策略措辞会显著改变结果。红帽结论:定义明确的风险仍适合小型分类器,宽泛策略才值得用零样本模型或LLM评审。

在笔记本电脑上运行、几乎媲美35B模型的AI安全检查

The New Stack The New Stack · 2026-10-05T18:36:28Z
Python Responses API函数调用实战:工具白名单、参数校验与预算

文章以Python实现只读库存Agent为例,说明函数调用中模型仅提出调用建议,实际执行由宿主程序控制。需校验工具白名单、SKU格式与参数,限制调用次数并回传call_id。重点防范提示注入、参数外带和间接副作用;写操作须具备幂等性与审批机制,并区分模型成功与任务成功。

Python Responses API函数调用实战:工具白名单、参数校验与预算

Java for You Java for You · 2026-10-03T08:02:29Z
你选择了Claude Sonnet 5.5——但Anthropic可能会把你的请求转给Sonnet 5处理

Anthropic发布Claude Sonnet 5.5,首次在Sonnet层级引入三阶段网络安全分类器与模型回退机制。该模型整体能力未突破前沿,但网络安全技能接近Opus 5,在Terminal-Bench 4.0上得分70.6%,超过Opus 5.5。被拦截的网络安全请求会回退至Sonnet 5处理,但API开发者需自行启用。测试显示,回退请求中12.01%遭提示注入攻破,远高于Sonnet 5.5自身的极低比例。Anthropic正调整分类器以减少误报。

你选择了Claude Sonnet 5.5——但Anthropic可能会把你的请求转给Sonnet 5处理

The New Stack The New Stack · 2026-09-28T21:34:23Z
谷歌 Gemini CLI 现在在编辑你的构建文件前会先征求确认

谷歌发布 Gemini CLI 0.61.0,为自主编码代理增加安全限制:修改构建配置文件、执行相关构建或测试命令,以及运行参数来自不可信外部内容的 shell 命令前,均需用户明确确认;同时加固沙箱,隔离主机凭证与配置,防止间接提示注入攻击。

谷歌 Gemini CLI 现在在编辑你的构建文件前会先征求确认

The New Stack The New Stack · 2026-09-24T14:27:27Z
谷歌AI首次“越狱”:竟然自己破解密码入侵三家公司!

文章以Gemini误入真实企业系统等事件为例,揭示AI Agent越权、提示注入等安全风险。亚马逊云科技提出两条应对路径:AI for Security,用AWS Continuum自动发现、验证并修复漏洞;Security for AI,用AgentCore隔离运行、Gateway与Policy管控工具调用、Guardrails过滤内容,强调按风险逐级授权,先收紧再逐步放权。

谷歌AI首次“越狱”:竟然自己破解密码入侵三家公司!

量子位 量子位 · 2026-09-20T08:01:13Z
Claude in Chrome 现已全面上线

Anthropic宣布Claude in Chrome正式上线,支持所有付费计划,可自主执行浏览器操作。为防提示注入攻击,系统采用分类器验证每个动作,并训练模型识别攻击。测试显示,最新模型在防护下攻击成功率极低,仅Fable 5有0.3%低风险成功案例。用户可从Chrome商店安装,企业版可管理设置。

Claude in Chrome 现已全面上线

Claude Claude · 2026-09-16T03:35:22Z
我们发现,每5个MCP访问策略中就有1个返回时已损坏或缺失

2026年MCP协议更新聚焦授权,暴露原信任模型缺陷。研究显示,MCP服务器易受提示注入攻击,平均攻击成功率达36.5%。多数服务器权限过大,仅8.5%使用OAuth,超半数依赖静态密钥。企业AI活动常通过个人账户运行,超20%访问策略缺失或失效。核心问题在于组织无法区分无害工具与持有生产令牌的工具,缺乏清单和轮换机制。

我们发现,每5个MCP访问策略中就有1个返回时已损坏或缺失

The New Stack The New Stack · 2026-09-10T15:00:00Z
【调研】WebMCP:让网页把能力交给 Agent

WebMCP 是让网页将业务能力注册为结构化工具、供 AI Agent 直接调用的浏览器 API,由 W3C WebML 社区组孵化,Chrome 已进入 Origin Trial。它支持声明式与命令式两种接入方式,工具具有生命周期,需采用窄 Schema 与稳定命名。主要风险包括提示注入、权限错配与跨源边界问题,需通过服务端授权、审计和预览确认来兜底。目前 Safari 和 Firefox 尚未支持,宜作为渐进增强,先试点只读低风险操作。

【调研】WebMCP:让网页把能力交给 Agent

Wayne的技术博客 Wayne的技术博客 · 2026-08-31T13:30:00Z
LM Studio为AI命令打造了裁判。随后,裁判开始认同被告。

LM Studio为AI编程助手Bionic开发了Shell Judge安全层,通过解析命令语法树和跟踪变量来评估命令风险,拦截危险操作,如git diff被变量篡改。它覆盖11,651个测试案例,处理工具参数差异。未通过的命令交由Shell Reviewer在对话上下文中评分,但仍有盲点,如假设可执行文件未被篡改,且提示注入风险存在。

LM Studio为AI命令打造了裁判。随后,裁判开始认同被告。

The New Stack The New Stack · 2026-08-28T18:31:38Z
图像识别300毫秒!OpenCode视觉插件本地免费不用API

OpenCode Senses是一款本地运行的视觉插件,无需API密钥,通过Moondream2模型实现图像识别、OCR和对象检测等13种工具,所有分析在本地GPU完成,300毫秒内返回结果。它采用自动注入证据机制,将图像内容标记为不可信观测数据,防止提示注入攻击。该插件免费、开源、跨平台,适合代码截图和UI测试,但性能上限低于云端大模型。

图像识别300毫秒!OpenCode视觉插件本地免费不用API

极道 极道 · 2026-08-14T06:40:00Z
Anthropic的Chrome扩展现已支持Cowork会话

Anthropic更新了Chrome扩展,将Claude集成到浏览器中,支持跨应用持久会话,并整合技能与连接器。该扩展现面向Max和Team用户,Pro用户稍后可用。它允许Claude在浏览器中操作内部系统,但存在提示注入风险,已加强自动检测,购物或分享个人信息前仍会征求同意。企业版默认关闭,且不支持其他Chromium浏览器。

Anthropic的Chrome扩展现已支持Cowork会话

The New Stack The New Stack · 2026-08-12T21:39:38Z
自动模式现已成为Claude Code中Pro、Max和Team计划的默认设置

Claude Code将于8月14日起在Pro、Max和Team计划中默认启用自动模式,通过分类器拦截危险操作,减少用户确认提示。测试显示其安全性优于人工审查,能阻止89%危险命令,并有效防范提示注入攻击。企业版和API用户暂可选用,未来将全面推广。

自动模式现已成为Claude Code中Pro、Max和Team计划的默认设置

Claude Claude · 2026-08-10T15:40:35Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码