ITI-GEN：包含式文本到图像生成” 的可再现性研究
内容提要
本文探讨了文本到图像生成模型中的社会偏见，尤其是性别、年龄和种族方面的偏见。研究发现，现有模型存在职业和地理偏见。为改善生成图像的公平性，研究者提出了伦理干预和多样性微调的方法，并开发了新的评估框架以提升模型表现和公平性。
延伸解读
偏见缓解策略的局限与权衡
文章指出，增加提示详细信息可缓解部分职业和地理偏见，但无法解决图像质量差异或其他场景的用途问题。伦理干预和多样性微调虽能提升公平性指标，但可能影响文本对齐或图像质量。例如，多样性微调模型在感知肤色和性别公平性上分别提高150%和97.7%，但未提及对图像质量的影响。提示工程策略如间接中性表述仅有限帮助，且导致更差的文本到图像对齐。因此，偏见缓解需权衡公平性与生成质量。
多语言模型中的性别偏见差异
MAGBIG基准的研究显示，多语言文本到图像模型在不同语言中生成的性别偏见存在显著差异，偏离了性别应具有相等生成机会的规范假设。提示工程策略如使用间接中性表述作为补救措施，仅在有限程度上有效，并导致更差的文本到图像对齐。这表明跨语言的偏见缓解需要更多研究，不能简单假设模型在不同语言中提供相似结果。
评估框架的双重面向
文章提出的评估框架将图像生成质量分为两组：第一组关注美学和真实性等图像质量，第二组检验文本条件，包括概念覆盖和公平性。该框架还引入了美学评分预测模型和低质量区域标注数据集，用于自动缺陷检测。公平性分析特别关注性别、种族和年龄偏见。这种双重面向的方法具有灵活性，可应用于其他图像生成形式，为开发更伦理关注的生成模型铺平道路。
Q&A
文本到图像生成模型中存在哪些社会偏见？
文本到图像生成模型中存在性别、年龄和种族方面的社会偏见，尤其是职业和地理偏见。
如何改善文本到图像生成的公平性？
可以通过伦理干预和多样性微调的方法来改善生成图像的公平性。
ENTIGEN数据集在研究中有什么作用？
ENTIGEN数据集用于评估伦理干预对图像生成的影响，帮助避免社会偏见。
多样性微调模型的效果如何？
多样性微调模型在感知肤色和性别方面显著提高了群体公平指标，分别提高了150%和97.7%。
MAGBIG基准的目的是什么？
MAGBIG基准旨在促进无性别偏见的多语言模型研究，揭示不同语言间的偏见差异。
如何评估文本到图像生成模型的公平性？
可以通过一个综合的评估框架，关注图像质量和文本条件的公平性来评估模型。
