“提示注入”与“破解”并不是一回事 [译]
内容提要
本文讨论了“提示注入”和“破解”的区别，前者是针对大语言模型应用程序的攻击手段，后者是绕过模型内置安全过滤机制的攻击方式。提示注入的风险更严重，因为攻击目标是构建在模型之上的应用程序。文章还提到了个人数字助理应用中的提示注入风险，并提出了可能的解决策略。作者强调了区分这两个术语的重要性，并表示对于提示注入的防护需要找到有效的解决方案。
延伸解读
术语混淆的根源与影响
文章指出，提示注入与破解常被混用，但两者本质不同。提示注入是将用户未经验证的输入与开发者创建的可信提示结合，类似SQL注入；破解则是绕过模型内置安全过滤。混淆会导致防护措施错位，例如仅针对越狱训练的系统无法防御特定于应用的提示注入。
风险差异：应用层攻击更严峻
破解的风险多限于公关危机或理论上的犯罪辅助，而提示注入直接攻击构建在模型之上的应用。其严重程度取决于应用权限：若应用能访问敏感数据或执行高权限操作，如个人数字助理，攻击者可通过恶意邮件诱导助手泄露数据或执行未授权操作，后果更为严重。
防护策略需区分对待
提示注入防护与模型审查无关，关注的是防止攻击者利用应用进行恶意操作。针对越狱的防护主要应对模型输出问题，而提示注入需要确保系统仅执行用户指令，而非渗透进来的非法指令。文章提到双大语言模型模式是一种可能的解决策略，但并非完美。
术语维护的重要性
作者将创立新术语比作发布开源软件，需要持续维护以确保信息传达给需要的人。尽管已撰写多篇文章，但术语误用仍普遍。作者从工程总监经历中领悟到，重要事项必须反复与不同团队沟通，但坦言对提示注入术语的维护可能为时已晚。
Q&A
提示注入和破解有什么区别？
提示注入是针对大语言模型应用程序的攻击手段，而破解是绕过模型内置安全过滤机制的攻击方式。
提示注入的风险有哪些？
提示注入的风险更严重，因为它攻击的是构建在模型之上的应用程序，可能导致敏感数据泄露。
个人数字助理如何受到提示注入的影响？
个人数字助理能够接触用户的个人数据，若受到提示注入攻击，可能会执行非法指令，导致数据泄露。
如何防护提示注入攻击？
需要找到有效的解决方案来防护提示注入，以确保数字助手的可信赖性。
提示注入与越狱攻击的防护措施有什么不同？
提示注入的防护关注的是防止攻击者利用个人数字助手进行恶意操作，而越狱攻击主要针对模型输出的公关危机。
提示注入的攻击方式有哪些？
提示注入并不指代某一单一攻击，而是指一整类可能的漏洞，攻击方式取决于应用的权限和能执行的操作。
