如何防止提示注入攻击
内容提要
大型语言模型（LLMs）是本十年最重大的技术突破之一，但容易受到提示注入攻击。研究人员尚未找到完全防止提示注入的方法，但可以采取措施减轻风险。组织可以通过验证输入、监控LLM活动、保持人工干预等方式来减少提示注入攻击的成功率和损害。
延伸解读
提示注入为何难以根除
文章指出，LLM同时将可信的系统提示和不可信的用户输入作为自然语言处理，无法像传统程序那样按数据类型区分命令与数据。因此，攻击者只需用自然语言编写看似系统提示的输入，就可能覆盖原有指令。这种架构特性意味着提示注入漏洞无法被完全修复，只能通过多种措施组合来降低风险。
参数化在LLM中的局限
传统应用可通过参数化分离系统命令与用户输入，但LLM难以实现。UC Berkeley的“结构化查询”方法通过前端转换格式并训练LLM识别，可降低部分注入成功率，但主要适用于API调用场景，对开放式聊天机器人较难应用，且需微调模型。树状攻击等技巧仍能突破该防护。
输入输出过滤的权衡
输入验证和清理可检查输入长度、与系统提示的相似性及已知攻击特征，但严格格式限制可能影响LLM灵活性，且新攻击可绕过签名过滤器。基于LLM的分类器本身也可能被注入欺骗。输出过滤同样面临误报和漏报，且传统字符串化输出会阻碍LLM执行代码等有用功能。
纵深防御与最小权限
文章强调没有单一措施可靠，建议组合使用更新修补、用户培训、监控工具、强化系统提示、最小权限和人工审批等。最小权限可限制LLM应用对数据和API的访问，减少攻击损害，但无法防范内部人员或账户劫持。人工审批增加安全性却降低便利性，且可能被社会工程绕过。
Q&A
什么是提示注入攻击？
提示注入攻击是黑客伪装恶意内容为无害用户输入并输入到大型语言模型（LLM）应用中的一种攻击方式。
提示注入攻击可能造成什么后果？
黑客可以利用被攻击的LLM窃取敏感数据、传播虚假信息，甚至造成数据泄露。
如何减轻提示注入攻击的风险？
组织可以通过验证输入、监控LLM活动、保持人工干预等方式来减少提示注入攻击的成功率和损害。
输入验证和清理在防止提示注入中有什么作用？
输入验证确保用户输入符合正确格式，清理则去除潜在的恶意内容，从而降低攻击成功的可能性。
企业如何确保LLM应用的安全性？
企业应及时更新和修补LLM应用，培训用户识别恶意提示，并应用最小权限原则来限制访问。
提示注入攻击的唯一防止方法是什么？
唯一的防止提示注入攻击的方法是完全避免使用大型语言模型（LLMs）。
