The Berkeley Artificial Intelligence Research Blog
·
通过结构化查询（StruQ）和偏好优化（SecAlign）防御提示注入攻击
💡
原文英文，约900词，阅读约需3分钟。
📝
内容提要
为应对大型语言模型（LLM）的提示注入攻击，提出了StruQ和SecAlign两种防御机制。StruQ通过结构化指令调优，使LLM忽略注入指令；SecAlign则优化LLM对正确响应的偏好。实验结果表明，这两种方法显著降低了攻击成功率，增强了模型的安全性和鲁棒性。
🎯
关键要点
- 为应对大型语言模型（LLM）的提示注入攻击，提出了StruQ和SecAlign两种防御机制。
- StruQ通过结构化指令调优，使LLM忽略注入指令。
- SecAlign优化LLM对正确响应的偏好，增强模型的安全性。
- 提示注入攻击被列为LLM集成应用的主要威胁，攻击者可以通过注入指令操控LLM的输出。
- 生产级LLM系统如Google Docs和ChatGPT已被证明易受提示注入攻击。
- StruQ和SecAlign在不增加计算或人力成本的情况下，显著降低了攻击成功率。
- StruQ和SecAlign将优化无关攻击的成功率降低至接近0%。
- SecAlign将强优化攻击的成功率降低至15%以下，较之前的最佳结果减少了4倍。
- 提示注入的原因包括输入中缺乏提示和数据的分离，以及LLM被训练为遵循输入中的任何指令。
- Secure Front-End通过特殊标记分隔提示和数据，确保输入的明确分离。
- StruQ通过模拟训练使LLM学习忽略注入指令，确保其响应于预期指令。
- SecAlign通过优化偏好，使LLM更倾向于输出期望的响应，增强模型的鲁棒性。
- 实验结果表明，StruQ和SecAlign在多种模型上均有效降低了攻击成功率。
- 总结了训练LLM以抵御提示注入的五个步骤，包括使用安全前端过滤数据。
❓
延伸问答
什么是提示注入攻击？
提示注入攻击是指攻击者通过在输入中注入不可信的指令，操控大型语言模型（LLM）的输出。
StruQ和SecAlign是如何防御提示注入攻击的？
StruQ通过结构化指令调优使LLM忽略注入指令，SecAlign则优化LLM对正确响应的偏好。
提示注入攻击的主要原因是什么？
提示注入攻击的原因包括输入中缺乏提示和数据的分离，以及LLM被训练为遵循输入中的任何指令。
StruQ和SecAlign的实验结果如何？
实验表明，StruQ和SecAlign显著降低了攻击成功率，SecAlign将强优化攻击的成功率降低至15%以下。
如何训练LLM以抵御提示注入攻击？
训练LLM以抵御提示注入攻击的步骤包括使用安全前端过滤数据和进行偏好优化。
StruQ和SecAlign在计算和人力成本上有什么影响？
StruQ和SecAlign在不增加计算或人力成本的情况下，显著降低了攻击成功率。
➡️
