学会看但忘记跟随：视觉指令调整使 LLMs 更容易遭受越狱攻击
内容提要
本文提出了一种新型越狱攻击方法，针对视觉语言模型，通过替换文本标题为恶意提示进行攻击。研究表明，当前大型视觉语言模型易受攻击，且生成有害内容。为提高安全性，整合了视觉语言安全指令数据集VLGuard，显著降低了黑盒攻击成功率，强调了对多模态大型语言模型的安全评估和防御措施的必要性。
延伸解读
视觉输入成为越狱新入口
文章指出，高维视觉输入空间本质上是对抗性攻击的理想介质。攻击者可以通过替换文本标题为恶意提示，并配合恶意图像，诱导视觉语言模型生成有害内容。这种攻击方式利用了模型对多模态输入对齐的脆弱性，尤其是文本处理功能中的关键漏洞。因此，仅关注文本安全已不足以应对多模态模型的安全风险。
VLGuard微调：安全与帮助性的平衡
文章提到，通过筛选视觉语言安全指令数据集VLGuard并整合到标准微调中，模型能有效拒绝不安全指令，同时大幅降低黑盒对抗攻击的成功率。值得注意的是，这种安全提升对模型帮助性的影响最小，甚至有所增强。这表明安全微调不一定以牺牲实用性为代价，为多模态模型的安全部署提供了可行路径。
攻击评估需量化隐秘性与成功率
文章设计了两个指标来量化攻击的成功率和隐秘性，并提供了测量攻击效果的基准。通过分析毒素比例和可训练参数位置对攻击成功率的影响，研究揭示了攻击效果的关键因素。这种量化方法有助于系统评估视觉语言模型的鲁棒性，并为防御措施的有效性提供可比较的基准。
多模态安全评估的紧迫性
文章强调，随着视觉语言模型功能扩展，攻击目标增多，安全风险加剧。研究显示，对抗性例子可以打破MiniGPT-4的安全机制并生成有害内容。因此，需要进行全面的风险评估、实施强大的防御措施，并推行负责任的工作实践。这凸显了当前对多模态大型语言模型进行安全评估和防御的紧迫性。
Q&A
什么是针对视觉语言模型的新型越狱攻击方法？
这种攻击方法通过替换原始文本标题为恶意提示，攻击包含恶意图像的视觉语言模型。
当前大型视觉语言模型面临哪些安全问题？
它们容易受到攻击，并且可能生成有害内容。
如何提高视觉语言模型的安全性？
通过整合视觉语言安全指令数据集VLGuard，可以显著降低黑盒攻击的成功率。
微调后的模型在安全性方面有什么效果？
经过微调的模型能够有效拒绝不安全的指令，并增强安全性。
为什么需要对多模态大型语言模型进行安全评估？
因为高维视觉输入空间容易受到对抗性攻击，且存在多种攻击目标。
越狱攻击对大型语言模型的影响是什么？
越狱攻击可能导致模型生成不安全或有害的内容，影响其可靠性。
