什么是提示词注入攻击？ [译]
内容提要
本文讨论了提示词注入对大语言模型的影响及其应对方法。提示词注入是一种社交工程攻击方法，可以绕过系统安全防护，导致系统做出不应该的行为。文章提出了审查数据、遵守最小权限原则、检查系统输入、通过人类反馈进行强化学习以及使用新型工具检测恶意软件等方法来解决提示词注入问题。解决该问题需要综合多种方法来提升系统的安全性。
延伸解读
提示词注入的根源：指令与输入边界模糊
文章指出，传统系统将程序指令与用户输入严格分离，而大语言模型使用输入来训练系统，导致指令和输入的边界变得模糊。这种模糊性赋予了模型极大的灵活性，但也使其容易受到提示词注入攻击。理解这一根本差异，有助于读者认识到为何传统安全边界在此失效，以及为何需要新的防护思路。
直接与间接注入：两种攻击路径
文章区分了直接和间接提示词注入。直接注入是攻击者直接向系统插入恶意提示词以绕过安全防护；间接注入则是通过污染数据源（如PDF、网页等），当系统使用这些数据时触发恶意行为。间接注入更隐蔽，因为用户可能毫无察觉，而系统却从被污染的数据中读取了恶意指令。
潜在后果：从错误信息到远程接管
提示词注入可能导致多种严重后果，包括系统编写恶意软件、提供错误信息、数据泄露，甚至远程接管。文章强调，错误信息尤其危险，因为系统不可靠会导致用户做出错误决策。数据泄露可能涉及敏感客户信息或知识产权，而远程接管则意味着攻击者完全控制系统。这些后果凸显了防护的紧迫性。
综合防护：没有单一解决方案
应对提示词注入需要综合多种方法，包括审查训练数据、遵守最小权限原则、检查系统输入、通过人类反馈进行强化学习，以及使用新型工具检测模型中的恶意软件。文章强调，这是一场攻防对抗，没有一劳永逸的解决方案。读者应关注这些方法的组合应用，并理解人在回路中的重要性。
Q&A
提示词注入攻击是什么？
提示词注入是一种社交工程攻击方法，通过绕过系统安全防护，使得系统做出不应有的行为。
提示词注入的工作原理是什么？
提示词注入利用人们的信任，通过输入提示词重新训练系统，使其执行用户的指令。
提示词注入可能导致哪些后果？
可能导致系统编写恶意软件、提供错误信息、数据泄露或远程接管等严重后果。
如何应对提示词注入攻击？
应对方法包括审查数据、遵守最小权限原则、检查系统输入、通过人类反馈进行强化学习等。
提示词注入的类型有哪些？
主要有直接注入和间接注入，前者通过插入提示词绕过安全防护，后者通过错误数据影响系统。
OWASP对提示词注入的看法是什么？
OWASP将提示词注入列为大语言模型面临的主要漏洞，强调其严重性。
