评估模型偏差需要表征其错误
内容提要
本文探讨了机器学习模型中的性别偏见和假相关性问题，提出了新的度量标准和去偏见方法。研究指出现有模型在处理偏见时的不足，强调多模态大型语言模型的潜在偏见及其对视觉和文本符号对齐的影响，呼吁进一步研究以提升模型的鲁棒性。
延伸解读
统计偏差校正：让群体性能差异更可靠
文章指出，现有度量群体间模型性能差异的指标大多基于统计偏差的估计量，可能导致虚假的显著差异。提出的“双校正”方差估计器能提供无偏估计和不确定性量化。在现实数据集上应用后，原本显著的群组性能差异不再显著，说明部分差异可能源于统计偏差而非真实偏差。这提醒研究者在比较模型公平性时，需关注估计量的偏差问题。
性别偏见度量：skew与stereotype的局限
文章提出skew和stereotype两个指标来量化上下文语言模型在WinoBias任务中的性别偏见，并探索了在线去偏和微调BERT两种减少偏见的方法。但研究发现，现有性别偏见基准未能完全探测专业偏见，代词消解可能被其他性别偏见表现的交叉相关性混淆。这意味着仅靠现有基准可能低估或误判模型偏见，需要更全面的评估设计。
去偏见效果评估：不能只看OOD收益
文章提出一种评估预训练模型对虚假特征依赖程度的方法，并测试了多种去偏见方法在问答任务中的鲁棒性。结果发现，去偏见方法的分布外收益不能仅通过减少对偏见特征的依赖来解释，且OOD模型仍依赖偏见特征，表明QA数据集中存在共享偏见。这提示去偏见研究需更细致地报告模型鲁棒性，而非仅关注表面收益。
多模态模型中的虚假偏见与对齐挑战
文章分析多模态大型语言模型中的虚假偏见，发现当视觉模型中的偏见影响视觉与文本符号的对齐时，特定测试数据模式会暴露问题。通过MM-SpuBench基准评估多个先进模型，结果显示这些模型对虚假关联的依赖持续存在。这强调了减轻虚假偏见的迫切性，并呼吁进一步研究提升多模态模型的鲁棒性。
Q&A
如何评估机器学习模型中的性别偏见？
可以通过提出的度量标准skew和stereotype来量化和分析模型的性别偏见，并探讨减少偏见的方法。
什么是双校正方差估计器，它的作用是什么？
双校正方差估计器提供了模型性能在群体间变化的无偏估计和不确定性量化，帮助更准确地测量群体间的性能差异。
现有模型在处理偏见时存在哪些不足？
现有模型在处理性别偏见时未能完全探测专业偏见，且代词消解可能受到其他性别偏见的交叉影响。
如何减轻多模态大型语言模型中的假偏见？
可以通过引入新的评估基准MM-SpuBench和针对视觉模型偏见的减轻方法来减轻假偏见。
模型训练中的假相关性如何影响性能？
假相关性会导致模型对标签的偏差，从而影响自然语言推理和重复问题检测等任务的性能。
什么是阈值不可知的度量标准，它的应用是什么？
阈值不可知的度量标准用于分析分类器分数在指定群体中的变化，帮助发现潜在的微妙偏差。
