BriefGPT - AI 论文速递
·
探讨视觉状态空间模型对孤立攻击的鲁棒性
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
本研究发现，使用指令调优增强大规模视觉语言模型(LVLMs)可能导致后门攻击。研究评估了六种典型后门攻击在图像字幕基准测试上的普适性，并发现攻击的普适性与后门触发器与特定图像/模型的不相关性以及触发器模式的偏好相关。研究还改进了现有的后门攻击方法，在跨域场景的普适性方面取得了显著改进。因此，即使是简单的传统后门策略也对LVLMs构成严重威胁，需要更多关注和深入研究。
🎯
关键要点
- 使用指令调优增强大规模视觉语言模型(LVLMs)可能导致后门攻击，增加安全风险。
- 本研究首次经验性考察了指令调优LVLMs期间后门攻击的普适性，揭示了后门策略的某些限制。
- 研究定量评估了六种典型后门攻击在图像字幕基准测试上的普适性，发现攻击的普适性与后门触发器与特定图像/模型的不相关性有关。
- 研究改进了现有的后门攻击方法，在跨域场景的普适性方面取得了显著改进，攻击成功率提高了86%。
- 即使没有访问指令数据集，使用极低的污染率(0.2%)也能成功毒化多模态指令集，攻击成功率超过97%。
- 本研究强调简单的传统后门策略对LVLMs构成严重威胁，需要更多关注和深入研究。
➡️
