RT攻击：通过随机标记破解文本到图像模型
内容提要
本文提出了一种针对图像到文本模型的灰盒对抗攻击方法，评估文本到图像生成模型的鲁棒性。研究发现现有防御机制脆弱，许多有害图像被错误标记为安全。通过众包挑战收集了大量提示-图像对，揭示了新的攻击策略，强调了持续审查和适应性的重要性，以促进T2I模型的安全开发。
延伸解读
灰盒攻击的独特威胁
文章提出的RT攻击是一种灰盒对抗攻击方法，针对图像到文本模型。与黑盒攻击不同，灰盒攻击假设攻击者拥有部分模型信息，从而能更精准地构造对抗样本。实验表明，这种攻击能有效评估文本到图像生成模型的鲁棒性，揭示现有防御机制在应对非明显攻击时的脆弱性。
众包红队与长尾安全风险
通过Adversarial Nibbler Challenge众包挑战，研究收集了超过10,000个提示-图像对，其中1,500个样本包含丰富的人工伤害类型和攻击风格。这种众包方式有助于发现标准测试中可能被忽视的长尾安全问题，例如隐式对抗提示，即因非明显原因触发模型生成不安全图像的提示。
机器标注的局限性
第一轮挑战结果显示，人类认为有害的图像中有14%被机器错误标记为“安全”。这表明自动安全过滤器存在显著漏洞，可能无法准确识别所有有害内容。因此，仅依赖机器标注进行安全评估是不够的，需要结合人工审核和持续更新防御策略。
越狱攻击的严重性
文章还提出了一个更强大的自动越狱流程，用于文本到图像生成系统，成功越狱了ChatGPT，使其在76%的时间内产生侵权内容。此外，通用攻击策略可有效越狱MiniGPT-4，成功率达到96%。这些结果突显了视觉语言模型的脆弱性，以及对新对齐策略的迫切需求。
Q&A
什么是灰盒对抗攻击方法？
灰盒对抗攻击方法是一种针对图像到文本模型的攻击策略，旨在评估文本到图像生成模型的鲁棒性。
研究发现现有防御机制的脆弱性表现在哪些方面？
研究发现，许多有害图像被错误标记为安全，且现有防御机制无法有效阻止攻击。
如何通过众包挑战收集提示-图像对？
通过构建Adversarial Nibbler Challenge，利用用户界面与不同人群合作，收集提示-图像对以识别安全问题。
第一轮挑战的结果显示了什么？
第一轮挑战结果显示，1,500个样本中有14%的有害图像被机器错误标记为安全。
本文提出了哪些新的攻击策略？
本文提出了更强大的自动越狱流程和通用攻击策略，能够有效越狱MiniGPT-4，成功率达到96%。
为什么持续审查和适应性对T2I模型的安全开发重要？
持续审查和适应性能够帮助发现新漏洞，确保T2I模型的鲁棒性和安全性。
