人群校准器:标注者分歧能否为主观任务的校准提供信息?
原文中文,约300字,阅读约需1分钟。发表于: 。本研究解决了在自然语言处理的主观任务中,现有方法忽略标注者分歧与标签的不确定性的问题。通过引入Crowd-Calibrator方法,我们基于众包工作者之间的分歧来校准模型,允许模型在面临不确定性时做出放弃决策。在仇恨言论检测和自然语言推理两个高度主观的任务中,实验结果表明Crowd-Calibrator在性能上优于或与现有的选择性预测基线持平,突显了将人类决策纳入模型预测的价值。
本研究通过引入Crowd-Calibrator方法解决了自然语言处理中的标注者分歧与标签不确定性问题。实验结果表明Crowd-Calibrator在主观任务中优于选择性预测基线,突显了将人类决策纳入模型预测的价值。