MAFIA: 多适配器融合式全包含语言模型
内容提要
该文综述预训练语言模型去偏研究，涵盖多种方法：ADELE通过模块化适配器实现可持续去偏，DAMA利用因果分析定位前馈层并线性投影减偏，LABDet跨语言评估社会偏见，Gender-tuning借助下游微调去偏，DAM以Adapter独立去偏；此外还探讨了多语言模型道德偏见、自然语言推理偏见评估及反事实增强去偏。
延伸解读
去偏方法的技术路线差异
文章综述的去偏方法可分为三类：基于适配器模块的ADELE和DAM，通过独立模块实现去偏且不影响原模型；基于因果分析的DAMA，定位前馈层后线性投影减偏；基于微调的Gender-tuning，利用下游数据同时去偏和提升性能。这些方法在计算代价、是否导致遗忘以及适用场景上各有取舍，读者可根据任务需求选择。
评估偏见的新视角与跨语言挑战
LABDet提出语言无关的社会偏见评估方法，并在六种语言上验证；另一研究则针对自然语言推理任务，考虑所有标签构建评估方法，首次在日语和中文中测量偏见。这些工作表明偏见评估需兼顾语言特异性，且传统评估可能遗漏标签间的复杂关系，跨语言评估仍面临可靠性挑战。
多语言模型中的道德偏见与文化差异
研究发现预训练多语言模型会编码不同的道德偏见，但这些偏见不一定对应人类观点的文化差异或共性。这意味着模型可能从英语数据中习得道德规范并强加于其他语言，导致随机且潜在有害的信念。这一发现提醒开发者在多语言应用中需谨慎对待模型输出的道德倾向。
反事实增强的局限与偏见传播风险
结合反事实数据增强的参数有效方法能减少性别偏见，但对种族和宗教偏见效果较差，且性能与全细调相当。此外，预训练数据中的政治偏见可能被模型习得并传播到下游任务，如误导检测器，加剧不公平。这提示去偏需针对不同偏见类型设计，并关注偏见在任务链中的放大效应。
Q&A
ADELE 方法是如何实现可持续去偏的？
ADELE 通过使用专用去偏置适配器实现模块化去偏，解决了计算代价高和遗忘问题，在性别去偏任务上有效，且模块化特性使其在大规模下游训练后仍能保持公平，并成功应用于六种目标语种。
DAMA 方法如何检测和减轻语言模型中的性别偏见？
DAMA 通过因果分析确定问题模型组件，发现中上部前馈层最容易传递偏见，然后通过线性投影改进模型，显著减少偏见并保持下游任务性能。
LABDet 是什么？它有什么特点？
LABDet 是一种鲁棒的、语言无关的方法，用于评估预训练语言模型中的社会偏见，能展现国籍偏见，在六种语言上验证了其可靠性和适用性。
Gender-tuning 如何消除性别偏见并提升下游任务性能？
Gender-tuning 通过使用下游任务数据对预训练语言模型进行微调，能够消除性别偏见，同时提高模型在下游任务上的性能。
DAM 去偏方法的核心思想是什么？
DAM 通过集成 Adapter 模块实现去偏见的独立功能，在三个分类任务中有效增加了公平性，同时保持了核心模型的效能。
多语言预训练模型会编码道德偏见吗？这些偏见与人类文化差异一致吗？
实验表明，预训练的多语言语言模型确实会编码不同的道德偏见，但这些偏见不一定对应于人类观点的文化差异或共性。
如何评估自然语言推理任务中的偏见？
提出了一种考虑自然语言推理任务中所有标签的评估方法，通过对多种语言的模型进行元评估，证明该方法能更准确地评估偏见，并首次在日语和中文的自然语言推理任务中构建评估数据集并测量偏见倾向。
反事实数据增强（CDA）在减少偏见方面效果如何？
结合反事实数据增强技术，参数有效的方法能有效减少性别偏见，但对种族和宗教偏见效果较差，且性能与全细调相当。
预训练数据中的政治偏见如何影响下游任务？
先验模型确实存在政治倾向，这可能加剧原始数据中的偏见并将其传播到误导检测器之类的下游模型中，研究讨论了这些发现对NLP研究的影响，并提出了减轻不公平的未来方向。
