降级语言模型促进公平性

本研究分析预训练语言模型中的社会偏见问题，发现去偏见后模型的词语表示对齐度下降。提出了一种微调方法，提升去偏见的公平性，同时保持自然语言理解任务的性能。