AttackEval：评估大型语言模型越狱攻击的有效性
内容提要
该文综述大语言模型越狱提示研究：测量野外越狱提示并揭示其特征与攻击策略，评估现有模型与防护措施防御不足；提出将目标优先级融入训练与推理以降低攻击成功率；揭示多语言越狱风险，自卫框架训练可减少不安全内容；给出越狱攻击形式化分类并调查GPT-3.5、OPT等模型，提出提示守卫；SmoothLLM通过随机扰动与聚合检测降低攻击成功率并提供可证明保证；ReNeLLM自动生成提示提升攻击成功率、降低成本；研究指令动词对越狱率的影响；提出生成利用攻击使11种模型对齐率从0%升至95%以上，呼吁加强红队测试与对齐；分析破解提示模式与类别，发现提示可在40个场景绕过ChatGPT限制；从GPT-4V窃取系统提示并越狱，揭示多模态模型风险并提出防御。
延伸解读
越狱攻击的多样性：从文本到多模态
文章梳理了越狱攻击的多条路径：既有针对文本模型的提示词攻击，也有从GPT-4V窃取系统提示并实施越狱的多模态攻击。这表明安全风险不限于单一输入形式，防御需覆盖不同模态和交互方式。同时，攻击策略的多样性也意味着单一防护措施可能难以应对所有场景。
防御思路：训练与推理阶段的干预
文章提到多种防御方向：将目标优先级融入训练和推理以降低攻击成功率；通过自卫框架训练减少多语言环境下的不安全内容；SmoothLLM用随机扰动和聚合检测提供可证明保证；以及提示守卫。这些方法分别从模型对齐、输入处理和输出检测入手，说明防御需要多层配合，而非依赖单一手段。
攻击自动化与对齐脆弱性
ReNeLLM框架能自动生成破解提示，提升攻击成功率并降低成本；生成利用攻击则使11种模型的对齐率从0%升至95%以上。这两项研究共同揭示：攻击可以规模化、低成本地实施，且现有对齐机制在特定攻击下可能迅速失效。因此，发布开源模型前进行更全面的红队测试和更好的对齐十分必要。
提示结构的影响与评估局限
研究发现指令动词会不同程度地增强模型生成不安全内容的概率，提示结构在越狱中起重要作用。另一项研究基于8120个问题评估ChatGPT 3.5和4.0，发现提示可在40个场景绕过限制。这些结果提示，评估模型安全性时需考虑提示的细微变化，仅靠有限测试可能低估实际风险。
Q&A
什么是越狱提示？它们对大型语言模型有什么危害？
越狱提示是用于绕过大型语言模型安全限制的输入，可能导致模型生成不安全内容。研究表明，当前LLMs和保护措施无法充分防御越狱提示，存在潜在危害。
有哪些方法可以降低越狱攻击的成功率？
文章提到多种方法：将目标优先级整合到训练和推理阶段；使用SmoothLLM算法对输入随机扰动和聚合检测；通过自卫框架训练减少多语言环境下的不安全内容；以及提出提示守卫等。
ReNeLLM框架是如何提升越狱攻击成功率的？
ReNeLLM框架基于自动生成的破解提示，改进攻击成功率并降低时间成本，同时揭示了当前防御方法的不足。
多语言环境下越狱攻击有什么特点？如何防御？
研究揭示了LLMs中的多语言破解挑战，涉及意外和恶意风险场景。通过自卫框架训练可以显著减少LLMs生成的不安全内容。
生成利用攻击如何影响模型对齐？
生成利用攻击通过改变文本生成策略，使11种语言模型的对齐率从0%提高到超过95%，表明攻击能严重破坏对齐。研究还提出了一种有效的对齐方法，可在攻击下降低对齐失误率。
破解提示在ChatGPT中的有效性如何？
研究利用8120个问题的数据集评估了ChatGPT 3.5和4.0，发现破解提示可以在40个用例场景中始终逃脱限制，强调了提示结构在破解LLMs中的重要性。
多模态大语言模型（如GPT-4V）存在哪些越狱风险？
研究通过从GPT-4V中成功窃取内部系统提示并使用SASP方法进行越狱，揭示了多模态大语言模型的潜在安全风险，并提出了相应的防御方法以降低越狱成功率。
