改变提示的蝴蝶效应：小的变化与越狱对大型语言模型的影响
内容提要
该文综述大语言模型越狱提示研究：通过提示黑客竞赛构建60万对抗提示数据集并分类，测量越狱提示特征与攻击策略，评估现有防御不足；调查GPT-3.5等模型的越狱有效性并提出提示守卫；提出ReNeLLM提升攻击成功率；发现模型对提示格式变化高度敏感；分析破解提示模式与类别，ChatGPT在40类场景可绕过限制；提出SmoothLLM以随机扰动降低攻击成功率；并指出大模型易利用提示捷径。
延伸解读
越狱提示的规模与分类
文章通过全球提示黑客竞赛构建了超过60万条对抗提示数据集，并提出了对抗提示类型的综合分类本体论。这表明越狱攻击已形成可观测的规模，且攻击策略具有多样性。读者可关注该数据集对理解攻击模式的价值，但需注意其来源为竞赛环境，可能不完全代表真实恶意使用场景。
现有防御的局限性
研究评估了GPT-3.5、OPT、BLOOM和FLAN-T5-xxl等模型上的越狱方法有效性，发现当前防御措施不足。同时，ChatGPT在40类场景中可被绕过限制，提示守卫仅对已知攻击类型有限有效。这提示读者，依赖单一防御或静态规则难以应对不断演变的越狱提示，需持续评估模型鲁棒性。
提示格式敏感性与攻击增强
文章指出大语言模型对微妙的提示格式变化高度敏感，且这种敏感性在模型增大、样本增多或指令调整后依然存在。ReNeLLM框架利用自动生成提示提升攻击成功率并降低成本。这意味着攻击者可能通过格式扰动轻易绕过防护，而防御方需关注提示结构层面的稳健性，而非仅依赖语义过滤。
缓解思路与泛化风险
SmoothLLM通过对输入随机扰动和聚合来降低攻击成功率，并提供可证明的保证。但另一项研究发现语言模型更可能利用提示中的捷径，尤其在大模型中。这提示读者，缓解方法虽有效，但模型对捷径的依赖可能削弱泛化能力，需在安全与性能间权衡，并警惕攻击者利用模型固有偏差。
Q&A
什么是越狱提示？它们对大型语言模型有什么危害？
越狱提示（jailbreak prompts）是旨在绕过大型语言模型内容限制的对抗性输入。研究表明，当前LLM和保护措施无法充分防御这些提示，可能导致模型被滥用，产生有害内容，这凸显了研究更安全LLM的紧迫性。
研究人员如何收集大规模的越狱提示数据集？
通过全球提示黑客竞赛，研究人员收集了针对三种最先进大型语言模型的60万+对抗性提示，并提出了对敌对提示类型的综合分类本体论。
现有越狱攻击在GPT-3.5等模型上的有效性如何？
研究调查了GPT-3.5、OPT、BLOOM和FLAN-T5-xxl等模型上的越狱方法有效性，发现提示可以在40个用例场景中持续绕过ChatGPT 3.5和4.0的限制，表明现有防御不足。
ReNeLLM框架如何提升越狱攻击的成功率？
ReNeLLM基于自动生成的破解提示，通过优化攻击策略来提高攻击成功率，同时降低时间成本，并揭示了当前防御方法的不足。
大型语言模型对提示格式的变化有多敏感？
研究发现，几种常用开源大语言模型对微妙的提示格式变化具有极高的敏感性，这种敏感性在增加模型大小、样本数量或进行指令调整时仍然存在。
有哪些防御方法可以降低越狱攻击的成功率？
SmoothLLM算法通过对输入进行随机扰动和聚合来检测攻击，降低了攻击成功率，并提供了可证明的保证；此外，提示守卫（prompt guards）也被提出用于防御已知攻击类型。
为什么大型语言模型容易受到越狱攻击？
研究表明，语言模型更可能利用提示中的快捷方式（shortcuts），尤其是当模型变得很大时，这种倾向可能导致模型被越狱提示利用。
