从描述丰富性到偏见：揭示生成图像标题丰富化的黑暗面
内容提要
本文提出了一种名为EXTRA的图像字幕生成方法，结合视觉和语言编码器，通过检索增强生成质量。同时，研究探讨了生成内容丰富（GCE）的新任务，利用深度学习模型探索语义关系，提升视觉内容生成的可信度。此外，研究发现社会属性影响生成内容的偏见，并提出LIBRA框架以减少性别偏见。
延伸解读
EXTRA方法：检索增强如何提升字幕质量
EXTRA结合预训练视觉和语言编码器，并利用Datastore检索相关字幕进行联合处理，实现检索增强的语言生成。实验表明，检索足够数量的字幕能提高生成质量。这提示我们，外部知识检索是改善多模态生成的有效途径，但检索库的规模和质量可能影响效果。
生成内容丰富（GCE）：从隐式到显式的语义扩展
GCE任务旨在显式丰富视觉和文本域，要求生成内容视觉真实、结构合理且语义丰富。研究者提出深度端到端方法，将输入描述建模为语义图，用图卷积网络预测丰富对象及其关系，再合成图像。在Visual Genome上的实验展示了可信结果，但方法依赖语义图构建的准确性。
社会属性与偏见：生成内容中的隐性风险
研究发现，种族、性别和形象特征等社会属性会显著影响生成内容的有害性、能力相关词汇和刻板印象。大规模视觉-语言模型可能放大这些偏见，且其与纯语言模型的社会偏见存在关联。这提醒我们，生成内容的可信度不仅关乎质量，还涉及公平性。
LIBRA框架：减少性别偏见的尝试
LIBRA框架通过学习合成有偏差的样本，针对图像字幕模型中的两种性别偏见：利用上下文预测性别的偏见，以及因性别导致生成刻板印象词语的概率偏见。该方法为降低偏见提供了思路，但合成样本的偏差学习可能引入新风险，需进一步验证其泛化性。
Q&A
EXTRA图像字幕生成方法的主要特点是什么？
EXTRA方法结合视觉和语言编码器，通过检索增强生成质量，能够提高字幕生成的准确性。
生成内容丰富（GCE）任务的目的是什么？
GCE任务旨在显式地对视觉和文本域进行内容丰富，使生成的内容在视觉上真实、结构上合理、语义上丰富。
LIBRA框架是如何减少性别偏见的？
LIBRA框架通过学习合成有偏差的样本，降低图像字幕模型中的性别偏见，特别是利用上下文预测性别的偏见。
如何利用深度学习模型探索对象间的关系？
通过构建语义图，节点表示对象，边表示对象间的关系，结合图卷积网络进行关系预测。
社会属性如何影响生成内容的偏见？
社会属性如种族、性别和外貌特征显著影响生成文本的毒性和能力相关词汇，导致有害刻板印象的生成。
EXTRA方法在实验中表现如何？
实验结果表明，检索足够数量的字幕可以显著提高字幕生成的质量，显示出有希望的视觉可信度。
