重新审视英语Winogender范式的一致性、覆盖率和语法性
内容提要
本研究介绍了多个针对性别偏见的指代消解数据集和方法，包括WinoBias、GAP和Counter-GAP，旨在消除自然语言处理中的性别刻板印象。研究表明，通过数据增强和新模型，指代消解系统的性能在性别平衡的数据集上显著改善。
延伸解读
从WinoBias到VisoGender：性别偏见评估的演进
文章梳理了多个性别偏见评估数据集，从2018年的WinoBias、Winogender到2023年的VisoGender，覆盖了指代消解、机器翻译和视觉语言模型。这些数据集针对不同任务和模态，反映了性别偏见研究从纯文本向多模态扩展的趋势。读者可以借此了解该领域基准的多样性和发展脉络。
去偏见技术的有效性与局限
文章提到数据增强、词嵌入去偏置、反事实数据增强和去词汇化等技术能减少性别偏见，例如在性别平衡数据集上F1值提升22.2%以上，且CDA能缩小中性代词与有性别代词之间的性能差距。但这些技术多针对特定数据集和任务，其泛化能力和实际部署效果仍需进一步验证。
中性代词与反事实数据增强的进展
针对荷兰语中性代词（如hen和die）的研究显示，指代消解系统在中性代词上性能下降，但CDA去偏见技术能显著缩小差距，且在资源有限时仍有效。Counter-GAP数据集则发现基于姓名的反事实数据增强比匿名化方法更能减少偏见。这些发现为处理非二元性别和减少偏见提供了实用方向。
Q&A
WinoBias数据集的主要目的是什么？
WinoBias数据集旨在解决与性别偏见有关的指代消解问题。
如何通过数据增强技术消除性别偏见？
通过结合现有的词嵌入去偏置技术和数据增强方法，可以消除指代消解系统对性别刻板印象的偏见。
GAP语料库的作用是什么？
GAP语料库旨在解决自然语言理解中消歧代词的长期难题，并提供性别平衡的标记。
Knowref基准的研究发现了什么？
Knowref基准发现各种核心参考系统在代词指代任务上的表现都比人类差，可能是因为缺乏上下文信息。
Counter-GAP数据集的主要用途是什么？
Counter-GAP数据集用于评估语言模型中的性别偏见，特别是通过反事实数据增强方法来减少偏见。
VisoGender数据集关注哪些方面的性别偏见？
VisoGender数据集关注与职业相关的性别偏见，并与图像中的代词关系相关联。
