Agent Smith: 一张图片能以指数速度越狱一百万多模态 LLM 智能体
内容提要
该研究提出基于最大似然的图像越狱提示算法，可黑盒迁移攻击MiniGPT-v2、LLaVA等多种多模态大模型，揭示其与语言模型越狱的联系并提出更高效的构造方法。研究评估了12种模型在13种情景下的脆弱性，强调需加强开源多模态模型的安全防护。
延伸解读
图像越狱提示的跨模型迁移能力
该研究提出的基于最大似然的图像越狱提示（imgJP）算法，能够以黑盒方式迁移到多种多模态大模型中，包括MiniGPT-v2、LLaVA、InstructBLIP和mPLUG-Owl2等。这意味着攻击者无需了解模型内部参数，仅通过构造特定的图像提示即可实现越狱，显著降低了攻击门槛。这种强迁移性表明，当前多模态模型在安全对齐上存在共性弱点，单一防御策略可能难以应对跨模型的攻击。
多模态与语言模型越狱的关联与构造方法
研究揭示了多模态大模型越狱与纯语言模型越狱之间的内在联系，并据此提出了一种基于构造的方法，将图像越狱的思路应用于语言模型越狱，且比现有最先进方法更高效。这一发现说明，不同模态的越狱攻击可能共享相似的机制，攻击者可以借鉴跨模态经验来提升攻击效率。同时，这也提示防御方需要从更统一的视角来设计安全措施，而非孤立地处理各模态的漏洞。
大规模评估揭示的脆弱性范围
通过编制大规模数据集，研究评估了12种先进多模态大模型在13种情景下的弱点，凸显了这些模型在面对对抗性攻击时的普遍脆弱性。即使底层语言模型经过了安全对齐，多模态模型仍可能被越狱。这一评估结果强调了加强开源多模态模型安全防护的紧迫性，尤其是在模型部署前需要进行更全面的对抗性测试，以识别并修复潜在的安全漏洞。
Q&A
什么是图像越狱提示（imgJP）？
图像越狱提示（imgJP）是一种基于最大似然算法生成的视觉提示，能够引导多模态大语言模型（MLLMs）生成令人反感的响应，从而对抗危险用户查询。
这种图像越狱攻击能迁移到哪些模型上？
生成的imgJP可以黑盒迁移到多种模型，包括MiniGPT-v2、LLaVA、InstructBLIP和mPLUG-Owl2等。
MLLM越狱和LLM越狱有什么联系？
研究揭示了MLLM越狱和LLM越狱之间的联系，并基于此引入了一种构造方法，将图像越狱方法应用于LLM越狱，比当前最先进的方法更高效。
这项研究评估了多少种模型和情景？
研究评估了12种先进的LMMs在13种情景中的弱点，凸显了多模型模型存在对抗性攻击的脆弱性。
为什么需要加强开源多模态模型的安全防护？
因为研究表明，即使采用了安全对齐的大型语言模型，攻击方法也能轻松攻击LLMs，这凸显了多模型模型的脆弱性，因此需要加强开源LMMs的安全措施以防止潜在恶意利用。
这种攻击方法是否适用于闭源模型？
文章未明确说明是否适用于闭源模型，但提到可以黑盒方式越狱多种开源模型，如MiniGPT-v2、LLaVA等。
