OT-Attack: 通过最优传输优化增强视觉语言模型的对抗迁移性

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本研究提出了一种名为OT-Attack的基于最优输运理论的对抗性攻击方法,用于对抗多模态对抗样本攻击。实验证明,OT-Attack在图像-文本匹配任务中的对抗性可迁移性优于现有方法。

🎯

关键要点

  • 本研究提出了一种名为OT-Attack的对抗性攻击方法。

  • OT-Attack基于最优输运理论,旨在对抗多模态对抗样本攻击。

  • 视觉-语言预训练模型在处理图像和文本方面表现出色,但易受攻击。

  • 研究探索数据增强和图像-文本模态交互的最佳对齐问题。

  • OT-Attack有效对抗过拟合问题。

  • 广泛实验表明,OT-Attack在图像-文本匹配任务中的对抗性可迁移性优于现有方法。

➡️

继续阅读