Groot：基于树状语义转换的生成式文本转图像模型的对抗性测试
内容提要
该文综述文本到图像生成的安全与鲁棒性问题，涵盖对抗提示绕过安全过滤器、灰盒攻击、对抗训练及GAN生成方法，并介绍Adversarial Nibbler挑战，通过千余对抗输入揭示输入过滤器脆弱性，指出模型依赖网络数据易生成不安全内容。
延伸解读
对抗攻击如何绕过安全过滤器
文章指出，文本到图像模型的安全过滤器存在脆弱性。通过LLM生成对抗性提示，如分治攻击，可以绕过过滤器，生成不安全内容。Adversarial Nibbler挑战收集了超过1000个对抗输入，揭示了输入过滤器的不足。这表明仅依赖输入过滤可能不够，需要更鲁棒的防御策略。
模型依赖网络数据的风险
文本条件图像生成模型在质量和对齐性上表现优异，但它们依赖于从网络随机获取的大规模数据集。这种依赖性导致模型可能生成不安全内容，因为网络数据包含各种未经过滤的信息。文章强调，这构成了系统安全问题，需要从数据源头进行治理。
对抗训练与鲁棒性提升
文章提到了一种广义对抗训练方法，能够使模型对多种组合语义扰动（如色调、饱和度、亮度、对比度和旋转）具有鲁棒性，并在ImageNet和CIFAR-10上取得性能优势。这表明对抗训练是提升模型鲁棒性的有效途径，但需要针对具体扰动类型设计训练策略。
Q&A
Adversarial Nibbler 挑战是什么？它有什么目的？
Adversarial Nibbler 挑战旨在通过收集和分析对当前最先进文本到图像模型的攻击，提高人们对这些模型安全问题的认识。该挑战从现有安全基准中提取了超过 1,000 个潜在对抗性输入，通过分析提示和生成图像，揭示输入过滤器的脆弱性，并深入研究生成图像模型中的系统安全问题。
文本到图像模型的安全过滤器容易被绕过吗？有哪些攻击方法？
是的，文本到图像模型的安全过滤器存在脆弱性。例如，2023 年 5 月有研究通过将 LLMs 生成的对抗性提示用于 GPT-4 辅助的 DALLE-3，引入了一种称为分治攻击的方法，绕过了安全过滤器，可能对安全性产生更严重的影响。此外，Adversarial Nibbler 挑战收集的对抗输入也揭示了输入过滤器的脆弱性。
T3 框架是什么？它用于什么目的？
T3 是一个树形自编码器和目标可控对抗攻击框架，可用于测试 NLP 模型的鲁棒性，特别是在情感分析和问题回答等领域。该框架生成的对抗文本能够成功操纵 NLP 模型输出，并具有很高的可迁移性。
文本到图像生成模型为什么容易生成不安全的内容？
文本条件的图像生成模型在图像质量和对齐性方面取得了显著成果，但它们依赖于从网络随机获取的数量庞大的数据集，因此也会生成不安全的内容。
生成对抗网络在文本到图像合成中有哪些应用和挑战？
生成对抗网络（GAN）或变压器模型可用于文本到图像生成。相关综述论文总结了 GAN 在文本到图像合成方面的发展及面临的挑战，并提出了改进研究方向，包括评估指标、数据集和模型架构设计等。此外，有研究利用递归神经网络和深度卷积生成对抗网络构建新的深度架构和 GAN 公式，将字符转换为像素，实现了从详细文本描述中生成花和鸟的逼真图像。
针对图像到文本模型的灰盒对抗攻击方法有效吗？
是的，有研究提出了一种针对图像到文本模型的灰盒对抗攻击方法，并通过实验验证了其有效性。
如何提高模型对组合语义扰动的鲁棒性？
有研究提出了一种新的生成组合对抗样本的方法和一种广义对抗训练方法，能够实现模型对多种组合语义扰动的鲁棒性，包括色调、饱和度、亮度、对比度和旋转等，并在 ImageNet 和 CIFAR-10 数据集上具有显著性能优势。
