考虑所有标签来评估预训练语言模型在自然语言推理中的性别偏见
💡
原文中文,约200字,阅读约需1分钟。
📝
内容提要
本文提出了一种评估预训练语言模型中偏见的方法,并在多种语言的模型上进行了元评估,证明该方法更准确。同时,本文还构建了日语和中文的自然语言推理任务评估数据集,测量了预训练语言模型的偏见倾向。
🎯
关键要点
-
提出了一种评估预训练语言模型中偏见的方法。
-
该方法考虑自然语言推理任务中所有标签。
-
通过对多种语言的模型进行元评估,证明该方法更准确。
-
首次在日语和中文的自然语言推理任务中构建评估数据集。
-
测量了预训练语言模型的偏见倾向。
➡️