分类任务的常识偏见发现与缓解
内容提要
本文综述机器学习中的数据集偏差与去偏方法，包括特征交互建模、高低容量模型集成、虚假相关性检测、重加权训练、数据增广、反事实图像生成及SPARE重要性抽样，旨在减轻模型对特定人群的歧视，提升泛化与公平性。
延伸解读
虚假相关性的来源与影响
文章指出，深度神经网络在训练中倾向于学习简单的解决方案，即与标签高度相关的虚假特征，而非复杂的核心特征。这种归纳偏差导致模型过度依赖数据集偏差，在分类任务中产生针对特定人群的歧视和不公平预测。例如，在医学影像中，模型可能依赖成像伪影而非真实病理特征，从而影响泛化能力。
去偏方法的技术路线
文章综述了多种去偏技术：通过特征交互建模检测相关属性、集成高低容量模型捕捉浅层相关性、量化偏置程度调整样本权重、特征级数据增广多样化训练数据、反事实图像生成揭示虚假相关性，以及SPARE方法利用重要性抽样平衡组大小。这些方法从数据、模型和训练策略不同层面减轻偏见。
评估去偏效果的关键指标
文章提到，评估去偏效果需要量化模型对虚假相关性的依赖程度。例如，新提出的假象相关性附着分数（SCLS）可衡量分类器依赖伪影的程度。SPARE方法在最差组准确度上比现有方法提高最高5.6%，速度提升多达12倍。这些指标有助于客观比较不同去偏方法的有效性和效率。
跨领域应用的潜力与局限
去偏方法已应用于计算机视觉、神经影像学和自然语言处理等领域。在神经影像学中，通过数据集谐波化消除偏差；在CelebA属性分类中，领域无关训练减轻了性别偏见。然而，文章也指出，部分去偏方法在特定表示下表现不同，且某些偏差问题尚未完全解决，需要进一步研究。
Q&A
机器学习模型为什么会产生偏见？
机器学习模型产生偏见的主要原因是数据集偏差，即训练数据中存在虚假相关性，模型倾向于学习与标签高度相关的简单虚假特征而非复杂的核心特征，导致对特定人群的歧视和不公平预测。
有哪些方法可以检测数据集中的虚假相关性？
可以通过建模特征交互来检测相关属性，或使用高低容量模型的集成训练自动捕捉浅层相关性，以及利用反事实图像生成揭示虚假相关性，并用量化指标如假象相关性附着分数（SCLS）来评估依赖程度。
如何减轻机器学习模型中的偏见？
减轻偏见的方法包括：重加权训练以调整偏置示例的权重、特征级数据增广使训练数据多样化、反事实图像生成、重要性抽样（如SPARE方法）平衡组大小，以及结合分布鲁棒优化（DRO）和反事实图像生成的端到端训练框架。
SPARE方法在去偏方面有什么效果？
SPARE方法能够早期发现含有虚假相关性的大型分组，并利用重要性抽样来平衡组大小，从而减轻虚假关联的影响。相对于现有方法，SPARE方法的最差组准确度提高了最高达5.6%，速度提高了多达12倍。
反事实图像生成在去偏中起什么作用？
反事实图像生成用于揭示与任务相关的可推广成像标记，并量化分类器依赖假象相关性的程度（通过SCLS度量）。它帮助去偏置方法学习可泛化的标记，成功忽略假象相关性，专注于潜在的疾病病理。
数据集偏差对深度神经网络有什么影响？
数据集偏差会导致深度神经网络过度依赖虚假相关性，从而在任务上表现下降，并产生针对特定人群的歧视和不公平预测。通过量化偏置程度并调整偏置示例的权重，可以减少这种依赖，提高模型表现。
