众包和 LLM 的注释质量比较研究

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

通过评估现有众包数据集,研究了个体众包标签和大语言模型标签的质量,并提出了混合标签聚合方法。结果表明,将优质大语言模型的标签与现有众包数据集相结合能提高数据集的聚合标签质量,高于大语言模型标签自身的质量。

🎯

关键要点

  • 评估现有众包数据集,研究个体众包标签和大语言模型标签的质量。
  • 提出了一种众包 - 大语言模型混合标签聚合方法。
  • 验证了混合标签聚合方法的性能。
  • 将优质大语言模型的标签与现有众包数据集相结合能提高聚合标签质量。
  • 聚合标签质量高于大语言模型标签自身的质量。
➡️

继续阅读