严重程度可控的文本到图像生成模型的偏倚操纵
原文中文，约1100字，阅读约需3分钟。
📝
内容提要
本文探讨了文本到图像生成模型中的社会偏见，提出了三种评估方法，并分析了模型对少数群体的影响。研究发现存在严重的职业和地理偏见，尽管详细提示可以部分缓解，但无法完全解决。此外，研究评估了模型的鲁棒性和对抗攻击，并提出了改进方法以应对安全问题。
🔎
延伸解读
偏见评估方法的多样性
文章提出了三种评估文本到图像生成模型偏见的方法，包括对比基准偏差特征、反事实推理量化偏见以及通过遮蔽语言模型计算单词影响得分。这些方法从不同角度识别模型中的社会刻板印象，为后续研究提供了可借鉴的评估框架。
职业与地理偏见的严重性
研究发现DALLE-v2和Stable Diffusion等模型存在严重的职业偏见和地理位置代表的日常情况偏见，导致少数群体被边缘化。尽管增加提示细节可以部分缓解偏见，但无法解决图像质量或模型在其他场景中的差异，说明偏见问题根深蒂固。
安全与鲁棒性挑战
文章还评估了模型的鲁棒性和对抗攻击，发现攻击成功率与多种因素相关，并提出了实体替换的新攻击目标。同时，GuardT2I框架在对抗场景下优于商业解决方案，以及通过后门技术实现概念审查，这些工作揭示了T2I模型在实际部署中面临的安全风险及可能的改进方向。
❓
Q&A
文本到图像生成模型中的社会偏见主要表现在哪些方面？
主要表现为职业偏见和地理偏见，导致少数群体的边缘化。
如何评估文本到图像生成模型中的偏见？
提出了三种评估方法，并应用于字幕图像数据集以衡量偏见。
详细提示在缓解模型偏见方面的效果如何？
虽然详细提示可以部分缓解偏见，但无法完全解决图像质量或其他场景中的差异。
研究中提到的对抗攻击是如何影响模型的？
对抗攻击揭示了模型的鲁棒性问题，并分析了成功率的相关因素。
如何量化文本到图像生成模型中的偏见？
通过反事实推理的方法来研究和量化模型的偏见，并扩展了定量评分。
研究提出了哪些改进方法以应对安全问题？
开发了量化伤害扩大的方法，并在实际部署场景中检验不同方法的效果。
🏷️
