VLind-Bench：大型视觉 - 语言模型中的语言先验测量
内容提要
本研究探讨了大型视觉-语言模型（LVLMs）在生成文本时的偏见问题，提出了“校准”和“去偏抽样”两种策略以减轻偏见。研究发现，输入图像的社会属性显著影响生成内容的毒性和刻板印象，并强调提高模型公平性和稳健性的重要性。
延伸解读
偏见根源：语言模型先验的影响
文章指出，大型视觉-语言模型生成内容中的偏见主要受底层大型语言模型（LLMs）的先验影响，而非输入图像本身。这意味着，即使图像内容中立，模型也可能因语言模型固有的偏见而产生有毒或刻板印象的文本。这一发现提示，单纯调整图像输入可能不足以消除偏见，需要从语言模型层面入手。
无需训练的去偏策略：校准与去偏抽样
研究提出了两种简单且无需训练的策略来减轻偏见。对于分类或多项选择问答任务，采用“校准”步骤，通过仿射变换调整输出分布，确保无图像时答案分数均匀，以正则化LLM先验的影响。对于开放式生成任务，则扩展为“去偏抽样”，借鉴对比解码方法。这些策略无需额外训练，易于应用，且能减少虚幻现象，生成更准确的内容。
社会属性对生成内容的影响
文章通过大规模研究发现，输入图像中描绘的社会属性（如种族、性别和外貌特征）能显著影响生成文本的毒性和与能力相关的词汇。这表明，模型不仅可能放大社会偏见，还可能针对特定群体生成有害内容。因此，在评估和部署LVLMs时，必须考虑这些社会属性带来的公平性风险。
模型稳健性与公平性挑战
研究还揭示了LVLMs在不同解码配置下的不稳定性，并通过对不同设置的系统性探索，显著提高了性能，超过了现有评估结果。同时，文章对公平性提出了关切，强调提高模型公平性和稳健性的重要性。这提示，在实际应用中，需要关注模型在不同配置下的表现差异，并采取相应措施确保公平。
Q&A
大型视觉-语言模型（LVLMs）是什么？
大型视觉-语言模型（LVLMs）是能够根据视觉输入生成文本描述的模型。
LVLMs生成内容的偏见主要来源于哪里？
LVLMs生成内容的偏见主要受到底层大型语言模型（LLMs）的影响，而非输入图像。
研究中提出了哪些策略来减轻偏见？
研究提出了“校准”和“去偏抽样”两种策略来减轻生成内容的偏见。
输入图像的社会属性如何影响生成文本？
输入图像的社会属性（如种族、性别和外貌特征）显著影响生成文本的毒性和刻板印象。
提高LVLMs公平性和稳健性的重要性是什么？
提高LVLMs的公平性和稳健性可以减少偏见，确保生成内容更准确和有用。
研究如何评估LVLMs的性能？
研究通过引入新的自动化基准构建方法来评估LVLMs的性能，验证其在区分图像类型方面的能力。
