本研究探讨了如何将多个二元目标标签整合为一致排名,分析了损失聚合与标签聚合两种方法。结果显示,尽管两者均可达到帕累托最优解,但标签聚合更优,避免了标签独裁现象,为实际应用提供了指导。
本研究探讨了标签聚合对少数声音的影响,指出标准聚合策略可能压制或低估少数有效意见。通过分析性别歧视检测中的少数意见,发现其质量和价值显著影响黄金标签的类别分布,并可能在模型训练中引入偏见。
本文综述大语言模型对众包标注的影响:研究发现33-46%的众包工人使用LLMs,需确保数据来自人类;提出SuperLA标签聚合方法,性能与效率优于基准;评估LLMs作为标注者,虽部分任务出色但无法替代人工;另有基于提示的无监督注释、软标签聚合、在线工作者质量估计算法,以及LLM与人工结合的CoAnnotating等范式,强调逐任务验证。
该研究比较了两种自动扩展分析政党宣言的方法:标签聚合和基于Transformer模型的长输入。研究发现,最佳结果可通过先进的模型和标签聚合的方式高效解决。该研究分析了41个国家和27种语言的比较宣言项目数据集。
完成下面两步后,将自动完成登录并继续当前操作。