fairBERTs：通过语义和公平感知扰动抹除敏感信息
内容提要
本研究探讨了人口统计偏差对自然语言处理模型的影响，提出了多种去偏方法，如ADELE和AdvBert，以提高模型的公平性而不损失性能。研究表明，使用去偏适配器和无监督风格转移等技术，可以有效减轻性别和种族偏见，同时保持文本生成的高质量。
延伸解读
去偏方法的模块化趋势
文章汇总的多项研究显示，去偏方法正从整体重训练转向模块化适配器。例如ADELE通过专用去偏适配器，在性别去偏任务上有效，且模块化特性使其在大规模下游训练后仍能保持公平，并支持六种目标语种。这种思路降低了计算代价，也缓解了遗忘问题，为实际部署提供了更可持续的路径。
度量选择比模型选择更关键
针对基于预训练语言模型的度量方法，研究首次系统发现其在种族、性别、宗教等六个敏感属性上存在显著社会偏向。更值得注意的是，选择度量方法的范式对公平性的影响大于选择预训练语言模型本身。这意味着在评估文本生成时，优先审视度量设计可能比更换模型更有效。
偏见编码的分散性与蒸馏影响
对BERT和DistilBERT的实证研究显示，无法确定特定层次产生性别偏见，除少数情况外，每个注意力头都均匀编码偏见，而蒸馏模型则更均衡地产生偏见。这提示去偏不能仅针对个别层或头，需要更全局的干预策略，同时蒸馏过程对偏见分布的影响也需纳入考量。
公平与性能的平衡实践
多项工作尝试在去偏的同时保持下游任务性能。例如AdvBert在信息检索中联合学习预测相关性并删除受保护特征，显著提高Bert排名器的公平性且不损失实用性；另有方法通过最小化生成文本中语义与社会偏好的互信息，在公平性和语言建模能力上均表现卓越。这些案例表明，公平与性能并非必然取舍。
Q&A
什么是fairBERTs模型？
fairBERTs是一种通过对抗性扰动和公平性感知技术来消除敏感信息的模型，旨在提高自然语言处理中的公平性。
如何通过人口统计扰动数据提高语言模型的公平性？
采用人口统计扰动数据进行预训练和调优，可以使语言模型更加公平，同时不牺牲下游任务的性能。
ADELE适配器的作用是什么？
ADELE适配器是一种去偏方法，旨在降低去偏的计算代价并防止模型遗忘，同时在性别去偏任务中表现出有效性。
研究中发现的性别偏见的神经机制是什么？
研究发现BERT和DistilBERT中的每个注意力头均匀编码性别偏见，且蒸馏模型在偏见生成上更均衡。
AdvBert模型如何提高信息检索的公平性？
AdvBert模型通过联合学习预测相关性并删除受保护特征，从而显著提高信息检索中的公平性。
如何通过最小化互信息来改善文本生成中的社会偏见？
通过最小化生成文本中的语义与社会偏好之间的互信息，可以使人口群体提及与其描述独立，从而缓解社会偏见。
