![提示词注入 VS 越狱：有什么区别？ [译]](https://learnprompting.org/blog/injection_jailbreaking.png)
提示词注入 VS 越狱：有什么区别？ [译]
💡
原文中文，约3400字，阅读约需8分钟。
📝
内容提要
提示词注入和越狱是大语言模型中的两种不同问题。提示词注入是用户输入覆盖开发者指令的过程，而越狱则是通过特殊提示词诱导模型做出不当反应。尽管两者都有负面含义，但在某些情况下也可用于正当目的。
🎯
关键要点
- 提示词注入是用户输入覆盖开发者指令的过程，导致模型无法区分两者。
- 越狱是通过特殊提示词诱导模型做出不当反应，通常涉及违反服务条款。
- 提示词注入和越狱是大语言模型中的不同问题，前者是架构问题，后者是训练问题。
- 尽管两者有负面含义，但在某些情况下可以用于正当目的，例如评估基准测试。
- 作者在理解这些术语时经历了误解，并通过与他人的对话获得了新的认识。
❓
延伸问答
提示词注入和越狱的主要区别是什么？
提示词注入是用户输入覆盖开发者指令的过程，而越狱是通过特殊提示词诱导模型做出不当反应。
提示词注入是如何影响大语言模型的？
提示词注入导致模型无法区分开发者的原始指令和用户输入，从而可能执行不当指令。
越狱通常涉及哪些行为？
越狱通常涉及通过特殊提示词诱导模型违反服务条款，可能导致模型输出不当信息。
提示词注入和越狱是否有正当用途？
尽管两者有负面含义，但在某些情况下可以用于正当目的，例如评估基准测试。
提示词注入和越狱是架构问题还是训练问题？
提示词注入是架构问题，而越狱则是训练问题。
作者是如何改变对提示词注入和越狱的理解的？
作者通过与他人的对话和研究，逐渐理解了提示词注入和越狱的区别。
➡️
