![提示词注入 VS 越狱：有什么区别？ [译]](https://learnprompting.org/blog/injection_jailbreaking.png)
提示词注入 VS 越狱：有什么区别？ [译]
💡
原文中文，约2500字，阅读约需6分钟。
📝
内容提要
本文讨论了提示词注入和破解问题，解释了两者之间的区别。作者还提到了相关研究和竞赛。
🎯
关键要点
- 提示词注入是诱导模型执行不当行为的过程，而越狱是特意诱导模型违反服务条款的行为。
- 提示词注入和越狱是不同的问题，涉及大语言模型中的不同架构问题。
- 提示词注入是通过不可信的用户输入覆盖开发者的原始指令，导致模型无法区分两者。
- 破解是通过提示词使生成式AI模型做出未预期的事情，难以防止对抗性提示词。
- 提示词注入和破解可以用于正当目的，例如评估模型在特定基准测试中的表现。
- 作者通过社交媒体对话改变了对提示词注入和越狱的理解，特别是与Riley Goodside和Simon的讨论。
- HackAPrompt是一个全球AI安全竞赛，吸引了数千人参与，旨在研究提示词攻击。
- 作者在撰写HackAPrompt论文时未能找到清晰的定义，导致对术语的误解。
❓
延伸问答
提示词注入和越狱有什么主要区别？
提示词注入是诱导模型执行不当行为的过程，而越狱是特意诱导模型违反服务条款的行为。
提示词注入是如何影响模型行为的？
提示词注入通过不可信的用户输入覆盖开发者的原始指令，导致模型无法区分两者。
破解问题的主要挑战是什么？
破解问题的主要挑战在于难以防止对抗性提示词，导致模型可能输出不恰当的信息。
提示词注入和越狱可以用于哪些正当目的？
提示词注入和越狱可以用于评估模型在特定基准测试中的表现。
HackAPrompt是什么？
HackAPrompt是一个全球AI安全竞赛，旨在研究提示词攻击，吸引了数千人参与。
作者是如何改变对提示词注入和越狱的理解的？
作者通过社交媒体对话，特别是与Riley Goodside和Simon的讨论，改变了对这两个术语的理解。
➡️
