使用 Datamodels（D3M）进行数据去偏：通过数据选择提高子群体鲁棒性
内容提要
本研究提出多种去偏见方法，利用辅助模型、优化框架和对比学习等技术，旨在减轻机器学习中的社会偏见。实验结果表明，这些方法在准确性和去偏成本上优于现有技术，尤其在处理特定子群体和图像分类器偏见方面表现突出。
延伸解读
去偏方法的技术路线差异
文章汇总了多种去偏技术，可大致分为三类：基于数据选择的方法（如优化框架选择子集、TDG生成针对性数据）、基于模型干预的方法（如FMD利用机器遗忘、DAFair加入正则化项）以及基于表示学习的方法（如对比学习改善子群体表示、DeNetDM分解网络属性）。这些方法在是否需要人口统计学注释、计算成本以及适用模态上各有侧重，读者可根据自身场景的数据条件和资源选择合适路径。
无需敏感标签的去偏趋势
多个方法强调在缺乏人口统计学注释时仍能有效去偏。例如，辅助模型检测偏见样本并下权重、DeNetDM无需偏见标签或类型注释、黑盒子方法直接识别偏见数据。这降低了去偏技术的应用门槛，尤其适合敏感属性难以获取或标注成本高的场景。但需注意，无标签方法可能依赖代理变量或数据中的偏见冲突模式，其效果可能受数据分布影响。
评估去偏效果需兼顾准确性与成本
文章多次提到去偏方法在提升或保持准确性的同时降低偏见，并关注去偏成本。例如FMD在达到更高或相当准确性的同时，具有更少偏见和更低去偏成本；DAFair在有限注释数据下优于常见方法。这提示读者，实际部署去偏技术时，不能仅看偏见指标，还需权衡模型性能、计算开销和标注需求，选择综合性价比高的方案。
偏见可能通过代理变量持续存在
房屋贷款决策的研究表明，即使不将族裔作为预测变量，模型仍会重复种族偏见，且去偏效果对偏见是否通过代理方式产生敏感。这意味着仅移除敏感特征并不足够，偏见可能隐藏在相关变量中。读者在应用去偏方法时，应检查数据中是否存在代理关系，并选择能处理此类间接偏见的策略，如同时最小化误差与预测和禁止变量之间的关联。
Q&A
什么是去偏见方法？
去偏见方法是通过技术手段减少机器学习中的社会偏见，提升模型在特定子群体上的鲁棒性和准确性。
研究中使用了哪些技术来减轻偏见？
研究中使用了辅助模型、优化框架、对比学习和快速模型去偏方法等技术来减轻偏见。
如何通过数据选择提高模型性能？
通过优化问题框架选择数据子集，避免主观标准，从而显著提高模型性能。
什么是'Targeted Data Generation（TDG）'框架？
TDG框架能够自动识别挑战性子群体并生成新数据，以提高模型的准确性。
FMD方法是如何工作的？
FMD方法通过反事实概念识别偏见属性，并设计基于机器遗忘的策略来有效消除模型偏见。
DAFair方法的有效性如何？
DAFair方法通过预定义人口统计文本和正则化项纠正偏见，在有限人口统计注释数据下表现优于常见去偏方法。
