腾讯安全玄武实验室
·
玄武在BlackHat揭示劫持智能体达成RCE的新方法
💡
原文中文，约5900字，阅读约需14分钟。
📝
内容提要
大语言模型（LLM）正逐渐演变为智能体，提示词注入攻击的威胁加剧。研究提出了一种通用触发器，攻击者可通过简单方法控制模型输出，攻击成功率高达70%。这一新攻击模式可能带来系统性风险，亟需加强防护措施。
🎯
关键要点
- 大语言模型（LLM）正在演变为智能体，提示词注入攻击的威胁加剧。
- 攻击者通过通用触发器可控制模型输出，攻击成功率高达70%。
- 提示词注入攻击的早期主要通过用户输入诱导模型输出不当内容，影响有限。
- 随着LLM集成到复杂工作流中，攻击者可以通过污染数据源进行更大范围的攻击。
- 智能体时代的提示词注入攻击可导致高风险操作，如植入后门代码和窃取隐私数据。
- 常规提示词注入攻击存在局限性，需手动设计和调整攻击指令，无法跨场景复用。
- 新型攻击范式通过解耦触发器和载荷，实现通用、精准的攻击效果。
- 通用触发器的特点包括通用性、易用性和精确性，降低了攻击门槛。
- 通用触发器使得大规模、低门槛的注入攻击成为可能，带来系统性风险。
- 通过案例演示，展示通用触发器在Open Interpreter和Cline中的潜在风险。
- 寻找触发器的过程涉及优化问题，目标是提高模型输出攻击载荷的概率。
- 实验表明，通用触发器在多个主流模型上表现出强大的攻击能力，成功率约为70%。
- 防护策略包括沙箱隔离、输入检测、最小权限原则和安全白名单与人工审核。
❓
延伸问答
什么是通用触发器，它如何影响提示词注入攻击？
通用触发器是一种优化的特殊Token序列，攻击者可以通过它精确控制大语言模型的输出，降低攻击门槛，攻击成功率可达70%。
提示词注入攻击的威胁是如何演变的？
提示词注入攻击从早期的用户输入诱导演变为通过污染数据源进行更大范围的攻击，尤其是在智能体时代，攻击的危害显著增加。
通用触发器的成功率是多少，它在不同模型中的表现如何？
通用触发器的攻击成功率约为70%，在同一模型族内有一定的迁移能力，但跨模型族则不可迁移。
如何防护提示词注入攻击？
防护措施包括沙箱隔离、输入检测、最小权限原则以及安全白名单与人工审核，以减少攻击风险。
通用触发器的设计与传统提示词注入攻击有何不同？
通用触发器将攻击过程解耦为可复用的触发器和可定制的载荷，打破了传统攻击对具体上下文的依赖。
智能体时代的提示词注入攻击可能导致哪些风险？
智能体时代的提示词注入攻击可能导致植入后门代码、窃取隐私数据，甚至完全控制用户计算机系统。
➡️
