预训练与后续设置中的偏见评估与去偏差之间的差距
内容提要
该文综述语言模型偏见研究：预训练模型存在性别、种族、宗教及政治等社会偏见，并会传播至下游任务。研究提出性别微调、反事实数据增强、无微调策略等去偏方法，发现参数有效方法对性别偏见有效但对种族宗教偏见效果差；内在偏见指标比外在指标更能评估去偏效果，且模型微调后可能重新学习偏见。
延伸解读
内在偏见指标为何更可靠
文章指出，内在偏见指标比外在指标更能评估去偏效果，能暴露浅表去偏差的情况。这是因为外在指标只反映下游任务表现，而内在指标直接测量模型内部表示中的偏见。两者相关性很弱，且训练实例和标签中的社会偏见是差异的原因。因此，仅靠下游任务性能判断去偏是否成功可能不可靠，需结合内在指标全面评估。
参数有效去偏的局限
研究发现，参数有效的方法能有效减少性别偏见，但对种族和宗教偏见效果较差，尽管其性能与全细调相当。这说明去偏方法的效果因偏见类型而异，不能假设一种方法对所有偏见都有效。读者需注意，针对性别偏见的成功经验未必能推广到其他社会偏见，实际应用中应针对不同偏见类型分别评估。
微调后偏见可能重新学习
文章警告，使用不同方法去除偏见的 MLM 在下游任务精调期间仍会重新学习社会偏见。这意味着去偏不是一劳永逸的，模型在后续微调中可能再次习得偏见。因此，部署前需在微调后重新评估偏见，而不能仅依赖预训练阶段的去偏处理。这一发现对高风险应用尤为重要。
政治偏见会传播至下游
研究还发现，预训练模型存在政治倾向，可能加剧原始数据中的偏见并将其传播到下游模型，如误导检测器。这表明偏见不仅限于性别、种族和宗教，政治偏见同样值得关注。读者应意识到，预训练数据中的偏见会通过模型影响下游任务的公平性，需在数据选择和模型评估中加以考虑。
Q&A
预训练语言模型存在哪些社会偏见？
预训练语言模型存在性别、种族、宗教及政治等社会偏见，这些偏见会传播至下游任务。
有哪些去偏差方法可以减轻语言模型的偏见？
研究提出了性别微调、反事实数据增强、无微调策略等去偏方法。其中参数有效方法对性别偏见有效，但对种族和宗教偏见效果较差。
内在偏见指标和外在偏见指标哪个更能评估去偏效果？
内在偏见指标比外在指标更能评估去偏效果，可以暴露浅表去偏差的情况。
模型微调后是否会重新学习社会偏见？
是的，使用不同方法去除偏见的MLM在下游任务精调期间仍会重新学习社会偏见。
反事实数据增强（CDA）对减少不同偏见的效果如何？
结合反事实数据增强的参数有效方法能有效减少性别偏见，但对种族和宗教偏见效果较差，且与全细调性能相当。
无微调策略（Fine-tuning-free strategy）有什么特点？
无微调策略通过使用语言和强任务感知的teacher signal进行交互式训练，提高了模型在多项任务中的泛化性和鲁棒性，且模型较小（0.3B参数），相对于GPT-3和InstructGPT而言更轻量。
