“提示注入”与“破解”并不是一回事 [译]

提示注入是一种针对大语言模型应用程序的攻击手段，结合用户未经验证的输入与可信提示。

破解是一种绕过大语言模型内置安全过滤机制的攻击方式。

提示注入的风险更严重，攻击目标是构建在模型之上的应用程序，而非模型本身。

个人数字助理应用中存在提示注入的风险，可能导致敏感数据泄露。

提示注入攻击的严重程度取决于应用的权限和能执行的操作。

提示注入与越狱攻击的防护措施存在本质区别，后者主要针对模型输出的公关危机。

模型的安全功能可能对提示注入攻击敏感，尤其是在基于大语言模型的聊天应用中。

提示注入保护与模型审查无关，关注的是防止攻击者利用个人数字助手进行恶意操作。

需要找到有效的解决方案来防护提示注入，以确保数字助手的可信赖性。

维护新术语的重要性在于确保相关信息能够被需要的人获取。