自然语言处理中的偏见检测与分类研究

本文提出了一种基于知识的泛化学习方法，旨在从无结构的文本数据中去除偏差和刻板化的词语，以实现仇恨言论的检测和控制。

使用预训练语言模型BERT进行迁移学习，提出了一种在推特上检测种族主义、性别主义和仇恨性内容的算法。

研究对深度和浅层仇恨言论检测方法进行了大规模实证比较，关注实际性能和实践指导。

提出了一种基于信息熵的注意力正则化方法（EAR），抑制模型对特定词汇的过度拟合，并识别可能引起偏见的用语。

研究提出了一种自动的误用检测器，构建了端到端的去偏见框架，适用于文本分类器。

分析了不同仇恨言论检测数据集的通用性差异，证明数据集组合能够促进强大的检测模型的发展。

提出了一种两步骤的方法，通过分类器检测仇恨言论并生成较少偏见的替代方案，减少在线讨论中的负面影响。

提出了HateDebias基准测试，旨在分析仇恨言论检测模型在不断变化环境下的能力，并提出去偏见框架和记忆重播策略。

通过分析GPT 3.5和GPT 4o在标注仇恨言论数据时的偏见，研究了性别、种族、宗教和残疾等类别中的脆弱群体的偏见因素。