任何名字的玫瑰:LLM生成的解释是人类解释收集NLI标签分布的良好代理
💡
原文中文,约700字,阅读约需2分钟。
📝
内容提要
本文探讨了人类标注分歧的问题,提出利用大型语言模型(LLMs)生成解释以近似人类判断分布(HJD)。研究表明,LLMs与少量人类标签结合时,生成的解释在近似HJD方面表现良好,为缺乏人类解释的数据集提供了新的标签分布估计方法。
🎯
关键要点
- 人类标注分歧是一个普遍存在的问题,可以通过人类判断分布(HJD)来捕捉。
- 利用大型语言模型(LLMs)生成解释的方法可以近似HJD。
- 研究表明,当LLMs与少量人类标签结合时,生成的解释在近似HJD方面表现良好。
- 这种方法为缺乏人类解释的数据集提供了新的标签分布估计可能性。
➡️