IBADR: 一个迭代的认知偏差数据修正框架用于消除 NLU 模型的偏见
原文中文，约300字，阅读约需1分钟。发表于：。本研究提出了 IBADR，一种迭代的偏差感知数据集优化框架，它在不预定义偏差特征的情况下对 NLU 模型进行去偏。实验结果和深入分析表明，IBADR 不仅显著优于现有的数据集优化方法，达到 SOTA，还与以模型为中心的方法兼容。
该文介绍了一个名为“Nbias”的框架，用于检测和消除文本数据中的偏见，确保数据的公正和道德使用。该框架包括数据层、语料库构建、模型开发层和评估层，并应用了基于transformer的标记分类模型识别具有独特命名实体的偏见词语/短语。通过定量和定性评估的混合方法，该方法能够取得1%至8%的准确率改进，并促进了文本数据的公正和道德使用。
