该文综述大语言模型越狱提示研究:通过提示黑客竞赛构建60万对抗提示数据集并分类,测量越狱提示特征与攻击策略,评估现有防御不足;调查GPT-3.5等模型的越狱有效性并提出提示守卫;提出ReNeLLM提升攻击成功率;发现模型对提示格式变化高度敏感;分析破解提示模式与类别,ChatGPT在40类场景可绕过限制;提出SmoothLLM以随机扰动降低攻击成功率;并指出大模型易利用提示捷径。
本研究对形式主义和已知越狱攻击进行分类,并调查了开源和商业LLM上现有越狱方法的有效性。同时提出了一组提示守卫,并讨论了其对已知攻击类型的有效性。
完成下面两步后,将自动完成登录并继续当前操作。