探讨视觉状态空间模型对孤立攻击的鲁棒性
原文中文，约400字，阅读约需1分钟。发表于：。本研究解决了视觉状态空间模型（VSS）在面对孤立攻击时的脆弱性问题。我们通过系统实验分析SSM机制对VSS模型鲁棒性的影响，发现其对特定触发器更加敏感。同时，我们开发了一种有效的后门攻击策略，经过测试，该模型在多个数据集上表现出较强的性能，但相较于仅由堆叠的门控卷积块构成的门控CNN，鲁棒性仍有提升空间。
本研究发现，使用指令调优增强大规模视觉语言模型(LVLMs)可能导致后门攻击。研究评估了六种典型后门攻击在图像字幕基准测试上的普适性，并发现攻击的普适性与后门触发器与特定图像/模型的不相关性以及触发器模式的偏好相关。研究还改进了现有的后门攻击方法，在跨域场景的普适性方面取得了显著改进。因此，即使是简单的传统后门策略也对LVLMs构成严重威胁，需要更多关注和深入研究。
