针对 GPT-4o 的语音越狱攻击
内容提要
本研究揭示了多模态大型语言模型（MLLMs）的安全风险，并提出了防御措施以降低越狱攻击的成功率。通过评估1445个有害问题，发现GPT-4和GPT-4V在抵御恶意攻击方面表现优越。研究还探讨了黑盒越狱方法的有效性，强调了对大型语言模型安全性的关注和改进需求。
延伸解读
多模态越狱的独特风险
文章指出，通过引入图像通道进行有害指令注入，再配合良性文本提示，可以诱导视觉语言模型输出违反安全策略的内容。这表明视觉与文本模态之间的安全对齐存在空白，攻击者可能利用图像绕过纯文本防护。因此，多模态模型的安全评估不能仅依赖文本层面的防御，需建立跨模态的联合防护机制。
黑盒攻击的简易性与威胁
研究显示，使用简单的黑盒方法即可有效生成越狱提示，突破了以往对复杂性和计算成本的限制。攻击者通过让LLM自身迭代重写有害提示为无害表达式，便能绕过伦理限制。这意味着创建有效越狱提示比预想更简单，黑盒攻击构成更严重的安全威胁，模型供应商需关注此类低门槛攻击。
人设调节攻击的高成功率
文章探讨了人设调节作为黑盒越狱方法，通过自动生成的越狱命令引导模型遵循有害指令。实验表明，在GPT-4中，有害完成率从调节前的0.23%飙升至42.5%，且这些命令可迁移至Claude 2和Vicuna，成功率分别达61.0%和35.9%。这揭示了商用模型的新漏洞，强调需更全面的安全保护。
防御方向与模型鲁棒性差异
研究评估了1445个有害问题，发现GPT-4和GPT-4V对恶意攻击的耐受性优于开源模型，而Llama2和Qwen-VL-Chat在开源模型中鲁棒性较高。此外，视觉攻击的可迁移性相对有限。这些发现提示，防御措施需针对不同模型特性设计，同时多语言环境下通过自卫框架训练可减少不安全内容。
Q&A
什么是多模态大型语言模型的安全风险？
多模态大型语言模型（MLLMs）存在潜在的安全风险，包括易受越狱攻击和恶意指令注入的漏洞。
GPT-4和GPT-4V在抵御攻击方面表现如何？
研究发现，GPT-4和GPT-4V在抵御恶意攻击方面表现优越，相比于开源模型更具鲁棒性。
黑盒越狱方法的有效性如何？
黑盒越狱方法被证明比以前认为的更简单，能够有效生成越过伦理规定的提示，构成严重的安全威胁。
研究中提到的越狱攻击成功率是多少？
实验结果显示，使用加密技术对越狱提示进行编码的攻击成功率高达59.42%。
如何减少大型语言模型生成的不安全内容？
在多语言环境中，通过自卫框架进行训练可以显著减少大型语言模型生成的不安全内容。
研究中提到的有害指令注入是如何进行的？
研究通过引入图像通道进行有害指令注入，利用良性文本提示诱导模型输出违反安全策略的内容。
