![提示词注入 VS 越狱：有什么区别？ [译]](https://learnprompting.org/blog/injection_jailbreaking.png)
提示词注入 VS 越狱：有什么区别？ [译]
💡
原文中文，约2500字，阅读约需6分钟。
📝
内容提要
本文讨论了提示词注入和破解问题，解释了两者之间的区别。作者还提到了相关研究和竞赛。
🎯
关键要点
- 提示词注入是诱导模型执行不当行为的过程，而越狱是特意诱导模型违反服务条款的行为。
- 提示词注入和越狱是不同的问题，涉及大语言模型中的不同架构问题。
- 提示词注入是通过不可信的用户输入覆盖开发者的原始指令，导致模型无法区分两者。
- 破解是通过提示词使生成式AI模型做出未预期的事情，难以防止对抗性提示词。
- 提示词注入和破解可以用于正当目的，例如评估模型在特定基准测试中的表现。
- 作者通过社交媒体对话改变了对提示词注入和越狱的理解，特别是与Riley Goodside和Simon的讨论。
- HackAPrompt是一个全球AI安全竞赛，吸引了数千人参与，旨在研究提示词攻击。
- 作者在撰写HackAPrompt论文时未能找到清晰的定义，导致对术语的误解。
➡️
