BriefGPT - AI 论文速递
·
人群校准器：标注者分歧能否为主观任务的校准提供信息？
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本研究通过引入Crowd-Calibrator方法解决了自然语言处理中的标注者分歧与标签不确定性问题。实验结果表明Crowd-Calibrator在主观任务中优于选择性预测基线，突显了将人类决策纳入模型预测的价值。
🎯
关键要点
- 本研究引入Crowd-Calibrator方法解决自然语言处理中的标注者分歧与标签不确定性问题。
- Crowd-Calibrator方法基于众包工作者之间的分歧来校准模型。
- 该方法允许模型在面对不确定性时做出放弃决策。
- 在仇恨言论检测和自然语言推理两个主观任务中，Crowd-Calibrator的性能优于或与选择性预测基线持平。
- 研究突显了将人类决策纳入模型预测的价值。
🏷️
标签
➡️
