众包和 LLM 的注释质量比较研究
内容提要
本文综述大语言模型对众包标注的影响：研究发现33-46%的众包工人使用LLMs，需确保数据来自人类；提出SuperLA标签聚合方法，性能与效率优于基准；评估LLMs作为标注者，虽部分任务出色但无法替代人工；另有基于提示的无监督注释、软标签聚合、在线工作者质量估计算法，以及LLM与人工结合的CoAnnotating等范式，强调逐任务验证。
延伸解读
众包标注中LLM使用普遍，需确保数据来自人类
研究发现33-46%的众包工人使用LLMs完成摘要任务，这意味着众包数据可能并非完全由人类生成。对于依赖众包进行数据标注的研究者和企业，需要采用新方法验证标注者身份或检测LLM参与，以确保数据来源的可靠性。这一比例也提示，在评估众包标注质量时，不能默认所有标签都来自人类判断。
LLM作为标注者：部分任务出色但无法替代人工
评估5种先进LLM作为标注者，并与人类标注比较，发现LLM在某些任务上表现优异，但整体上仍无法替代人类标注。另一项复制27个注释任务的研究也指出，LLM的文本注释性能高度依赖数据集和任务类型，必须逐任务验证。因此，在实际应用中，LLM更适合作为辅助工具，而非完全取代人工标注。
标签聚合方法进步：SuperLA与在线估计算法
SuperLA监督标签聚合方法无需推理时更新模型，能利用历史标注记录，在22个数据集上性能与效率均优于基准。此外，LA onepass和twopass算法通过动态贝叶斯网络在线估计工作者质量和真实标签，无需重新访问历史数据。这些方法有助于提升众包标注的聚合质量，尤其在动态或大规模场景下具有实用价值。
人机结合范式：CoAnnotating与LLMaAA
CoAnnotating将LLM标注与人工标注结合，在未标注文本上协同工作，以平衡质量和成本。LLMaAA则将LLM置于主动学习循环中，利用无标签数据提升效率和可靠性，在命名实体识别和关系抽取任务上超过基线。这些范式表明，合理设计人机协作流程，可以发挥LLM的潜力，同时保留人工标注的质量控制。
Q&A
众包工人使用大语言模型的比例有多高？这对数据标注有什么影响？
研究发现，在Amazon Mechanical Turk上运行的摘要任务中，33-46%的众包工人使用了LLMs。这意味着需要新的方法来确保数据来源于人类本身，以避免LLM生成内容混入人工标注数据。
SuperLA标签聚合方法有什么优势？
SuperLA是一种监督标签聚合方法，不需要在推理期间进行模型更新，并能广泛利用历史标注记录。在22个公共数据集和11个基准方法的比较实验中，SuperLA在推理性能和效率方面均优于所有基准方法。
大语言模型能完全替代人类标注者吗？
不能。虽然LLMs在某些任务上表现出色，但它们无法替代人类标注的需求。研究评估了5种最先进的LLMs作为标注者，发现它们与人类标注各有优缺点，但整体上仍需要人类参与。
如何利用LLM进行无监督的数据注释？效果如何？
一种基于大型语言模型的数据注释方法通过提示示例和解释的方式实现无监督注释。实验结果表明，该方法优于众包注释方法。
众包标注中如何获得软标签并估计不确定性？
通过温度调节和Jensen-Shannon中心法从众包注释中汇总多个视角的分布，可以获得软标签。这些聚合方法在四项自然语言处理任务中表现出最佳或接近最佳的性能，并且在任务不确定性估计上表现最佳。
LLM与人工结合标注有哪些新范式？
CoAnnotating是一种新范式，在未标注文本上结合人工标注和语言模型标注，以达到更好的质量和成本效益。此外，LLMaAA方法将LLM作为注释者放入主动学习循环中，在命名实体识别和关系抽取等任务上取得了更高性能。
使用LLM进行文本注释时需要注意什么？
通过验证人类生成的标签，可以使用GPT-4复制27个注释任务，发现文本注释的LLM性能很有前途，但高度依赖数据集和注释任务类型，因此必须逐任务验证。
