视觉-语言模型中的面孔社会认知
原文中文，约1300字，阅读约需3分钟。
📝
内容提要
研究表明，基于CLIP模型的多模态视觉语义存在种族和性别偏见，尤其在生成图像时倾向于使用刻板印象，白人和男性个体表现尤为明显。评估多个模型发现，职业和地理位置的偏见也很严重。尽管提高提示的详细程度可以缓解偏差，但无法完全解决问题。研究强调需要监督和检查AI模型中的隐性偏见。
🔎
延伸解读
偏见的多模态根源
文章指出，CLIP等视觉-语言模型的偏见源于训练数据中的语言和社会偏见。例如，模型默认将黑人-白人女性图像归为黑人，且在白人个体上更倾向使用“人”标签，而在男性个体上更倾向性别标记。这表明AI不仅学习图像特征，还内化了自然语言中的隐性认知信念，因此必须对模型进行监督和检查。
生成图像中的刻板印象
对DALLE-v2和Stable Diffusion等文本到图像模型的评估显示，它们生成的图像存在严重的职业偏见和地理位置代表的日常情况偏见。尽管增加提示的详细程度可以缓解部分偏差，但无法完全解决图像质量或模型在其他场景中的差异。不同模型之间的偏见趋势也不一致，需要进一步调查。
社会属性的连锁影响
大型视觉-语言模型生成的文本中，输入图像所描绘的社会属性（如种族、性别和外貌特征）会显著影响生成文本的毒性和能力相关词汇。这意味着偏见不仅体现在图像生成，还延伸到文本输出，可能加剧有害刻板印象。研究强调需考虑数据集的策划问题，以减轻模型的社会偏见。
❓
Q&A
CLIP模型中存在哪些种族偏见？
CLIP模型默认将黑人-白人女性图像归为黑人，显示出种族偏见。
CLIP模型在性别标记上有什么倾向？
CLIP模型在男性个体上更倾向于使用性别标记，而在白人个体上更倾向于使用人标签。
如何缓解视觉-语言模型中的偏见？
增加提示的详细程度可以缓解偏见，但无法完全解决问题。
DALLE-v2和Stable Diffusion模型的偏见表现如何？
这两个模型存在严重的职业偏见和地理位置代表的日常情况偏见。
社会属性如何影响生成文本的内容？
输入图像中的社会属性显著影响生成文本的毒性和能力相关词汇。
研究中提到的隐性偏见如何影响AI模型？
隐性偏见影响AI模型的生成结果，导致刻板印象和有害内容的出现。
🏷️
