腾讯安全玄武实验室
·
玄武在BlackHat揭示劫持智能体达成RCE的新方法
内容提要
大语言模型（LLM）正逐渐演变为智能体，提示词注入攻击的威胁加剧。研究提出了一种通用触发器，攻击者可通过简单方法控制模型输出，攻击成功率高达70%。这一新攻击模式可能带来系统性风险，亟需加强防护措施。
关键要点
-
大语言模型（LLM）正在演变为智能体，提示词注入攻击的威胁加剧。
-
攻击者通过通用触发器可控制模型输出，攻击成功率高达70%。
-
提示词注入攻击的早期主要通过用户输入诱导模型输出不当内容，影响有限。
-
随着LLM集成到复杂工作流中，攻击者可以通过污染数据源进行更大范围的攻击。
-
智能体时代的提示词注入攻击可导致高风险操作，如植入后门代码和窃取隐私数据。
-
常规提示词注入攻击存在局限性，需手动设计和调整攻击指令，无法跨场景复用。
-
新型攻击范式通过解耦触发器和载荷，实现通用、精准的攻击效果。
-
通用触发器的特点包括通用性、易用性和精确性，降低了攻击门槛。
-
通用触发器使得大规模、低门槛的注入攻击成为可能，带来系统性风险。
-
通过案例演示，展示通用触发器在Open Interpreter和Cline中的潜在风险。
-
寻找触发器的过程涉及优化问题，目标是提高模型输出攻击载荷的概率。
-
实验表明，通用触发器在多个主流模型上表现出强大的攻击能力，成功率约为70%。
-
防护策略包括沙箱隔离、输入检测、最小权限原则和安全白名单与人工审核。
延伸解读
智能体时代的安全挑战
随着大语言模型演变为智能体，提示词注入攻击的风险显著增加。这种攻击不仅限于信息层面的误导，可能导致实际的系统控制和数据泄露，用户在使用智能体时需提高警惕，确保其操作的安全性。
通用触发器的影响
通用触发器的出现降低了攻击的门槛，使得即使是缺乏经验的攻击者也能实施有效的攻击。这一变化意味着更多潜在的威胁行为者可能利用这一技术，企业和开发者需加强防护措施，防止被利用。
防护策略的重要性
面对新型的提示词注入攻击，企业应采取多层次的防护策略，如沙箱隔离和输入检测。这些措施能够有效降低智能体被攻击的风险，确保系统的安全性和稳定性。
延伸问答
什么是通用触发器，它如何影响提示词注入攻击？
通用触发器是一种优化的特殊Token序列，攻击者可以通过它精确控制大语言模型的输出，降低攻击门槛，攻击成功率可达70%。
提示词注入攻击的威胁是如何演变的？
提示词注入攻击从早期的用户输入诱导演变为通过污染数据源进行更大范围的攻击，尤其是在智能体时代，攻击的危害显著增加。
通用触发器的成功率是多少，它在不同模型中的表现如何？
通用触发器的攻击成功率约为70%，在同一模型族内有一定的迁移能力，但跨模型族则不可迁移。
如何防护提示词注入攻击？
防护措施包括沙箱隔离、输入检测、最小权限原则以及安全白名单与人工审核，以减少攻击风险。
通用触发器的设计与传统提示词注入攻击有何不同？
通用触发器将攻击过程解耦为可复用的触发器和可定制的载荷，打破了传统攻击对具体上下文的依赖。
智能体时代的提示词注入攻击可能导致哪些风险？
智能体时代的提示词注入攻击可能导致植入后门代码、窃取隐私数据，甚至完全控制用户计算机系统。
