微妙的图像扰动对定制扩散模型造成更高影响
原文约300字，阅读约需1分钟。发表于：。通过观察到交叉注意力层对梯度变化更加敏感，我们提出了一种简单但通用且高效的方法 CAAT，用于有效地欺骗潜在扩散模型 (LDMs)。我们展示了对图像的微小扰动可以显著影响交叉注意力层，从而在定制扩散模型的微调过程中改变文本与图像之间的映射关系。大量的实验证明，CAAT 与各种扩散模型兼容，并以更有效（更多的噪声）和更高效（比 Anti-DreamBooth 和 Mist 快两倍）的方式优于基线攻击方法。
该研究提出了Adv-Diffusion框架，生成逼真的对抗性图像。通过生成语义扰动的身份敏感条件扩散生成模型，设计了自适应强度的对抗性扰动算法。实验证明该方法在FFHQ和CelebA-HQ数据集上表现出卓越性能。
