图像胜过言辞：从因果中介视角理解和减轻视觉语言模型中的偏见
原文中文，约2000字，阅读约需5分钟。
📝
内容提要
本文探讨了大规模视觉语言模型（VLMs）中的性别和种族偏见，指出这些模型在处理图像时受到文化和社会属性的影响，生成内容存在显著偏见。提出了校准和去偏抽样等策略，以减轻这些偏见，提高模型的公平性和准确性。
🔎
延伸解读
偏见来源：语言模型而非图像
文章指出，视觉语言模型生成内容中的偏见主要受底层大型语言模型影响，而非输入图像本身。这意味着即使图像内容中立，模型也可能因语言先验而产生偏见。这一发现提示，减轻偏见需从语言模型入手，而非仅调整视觉部分。
西方偏见与语言预训练
研究发现，视觉语言模型在图像理解中存在西方偏见，在文化多样的图像上，西方子集表现更好。控制实验表明，仅使用文本预训练时，构建公平模型需要多样语言混合，即使推理使用英语。这强调了预训练数据语言多样性的重要性。
肤色与模型规模的风险
文章揭示，较暗肤色的个体更容易被视觉语言模型误分类，且随着变压器编码器模型规模增加，对有害预测的置信度也增加。这表明模型规模扩大不一定缓解偏见，反而可能加剧某些有害关联，需在开发中警惕。
无需训练的去偏策略
为减轻偏见，文章提出两种无需训练的策略：校准和去偏抽样。校准通过仿射变换调整输出分布，确保无图像时答案均匀；去偏抽样借鉴对比解码，用于开放式生成。这些策略有效减少偏见，并提高生成内容的准确性和有用性。
❓
Q&A
大规模视觉语言模型中存在哪些偏见？
大规模视觉语言模型中存在性别和种族偏见，影响图像理解和生成内容。
如何减轻视觉语言模型中的偏见？
可以通过校准和去偏抽样等策略来减轻视觉语言模型中的偏见，提高公平性和准确性。
视觉语言模型在处理文化多样性时表现如何？
视觉语言模型在处理文化多样性时表现出西方偏见，尤其在使用英语进行预训练时。
较暗肤色个体在视觉语言模型中的表现如何？
较暗肤色个体更容易被误分类，且模型规模越大，对有害预测的置信度越高。
视觉语言模型生成的文本受哪些社会属性影响？
生成的文本受到种族、性别和外貌特征等社会属性的显著影响。
使用目标文化语言进行提示能否完全消除偏见？
使用目标文化语言进行提示可以减少偏见，但并不能完全替代构建更具世界语言代表性的人工智能。
🏷️
