闭眼，安全已开启：通过图像到文本转换保护多模态 LLMs
内容提要
本文探讨了多模态大型语言模型的安全性问题，提出了 MLLM-Protector 策略以减轻恶意输入风险。研究表明，现有模型在对抗性攻击下脆弱，强调了加强安全措施的必要性。通过引入 FAEF 框架和新指标，评估了模型的对齐程度，发现其实际安全性低于预期。此外，提出了新型越狱攻击方法，分析了攻击成功率并验证了其有效性。
延伸解读
多模态安全威胁的演变
文章梳理了多模态大模型安全研究的进展，从2023年8月到2024年2月，攻击与防御方法不断涌现。早期研究关注安全评估与对抗，随后出现视觉提示攻击、分治攻击等新型越狱手段，凸显了模型在对抗性操作下的脆弱性。这些工作表明，安全威胁正从纯文本向多模态扩展，防御需同步演进。
防御策略的实践路径
针对恶意视觉输入，文章介绍了MLLM-Protector即插即用策略，结合轻量级有害检测器和响应解毒剂，在不影响模型整体性能的前提下减轻风险。此外，Self-Guard方法通过增强模型自我检测能力抵御越狱攻击，且不降低性能。这些方案为实际部署提供了可参考的防御思路。
安全对齐的评估局限
文章指出，现有安全对齐方法可能高估模型安全性。通过FAEF框架和一致性分数（CS）、一致安全分数（CSS）等新指标，对14个主流大模型评估发现，其实际对齐程度不高，存在虚假对齐现象。这提示读者，仅凭传统评估可能无法反映真实安全水平，需采用更综合的指标。
Q&A
什么是MLLM-Protector策略？
MLLM-Protector是一种结合轻量级有害检测器和响应解毒剂的即插即用策略，用于减轻多模态大型语言模型的恶意输入风险。
现有多模态大型语言模型的安全性如何？
现有模型在对抗性攻击下表现脆弱，实际安全性低于预期，强调了加强安全措施的必要性。
FAEF框架在安全性评估中有什么作用？
FAEF框架用于评估模型的对齐程度，并引入了Consistency Score和Consistent Safety Score两个新指标，以纠正性能估计偏差。
新型越狱攻击方法是如何工作的？
新型越狱攻击方法通过替换原始文本标题为恶意提示，攻击包含恶意图像的视觉语言模型，分析毒素比例和可训练参数位置对攻击成功率的影响。
研究中发现的多模态大型语言模型的弱点是什么？
研究发现多模态大型语言模型在对抗性攻击下存在脆弱性，尤其是在处理恶意视觉输入时。
自我保护方法如何增强模型的安全性？
自我保护方法通过增强模型对有害内容的检测能力和指导模型进行自我响应中的有害内容检测，提升了抵御越狱攻击的鲁棒性。
