面向主观 NLP 任务的标注者中心主动学习
内容提要
本文探讨了主动学习中的标注成本和采样效率，提出了基于多样性原则的查询策略和自适应聚类算法D-CALM，显著提高了标注效率和模型性能。研究表明，结合大型语言模型（LLMs）与主动学习能够有效降低人工成本并提升决策效果。
延伸解读
主动学习在文本生成中的局限
文章指出，现有主动学习策略在文本生成任务中效果不佳，无法持续超越随机选择的基准线。这意味着在摘要、生成等任务上，盲目应用主动学习可能无法节约标注成本，甚至可能损害模型性能。读者需注意，主动学习的收益高度依赖任务类型，在生成任务中应谨慎评估其有效性。
多头模型与标注预算节约
在主动学习设置中，多头模型在不确定性估计方面显著优于单头模型。实验表明，群体级别的熵表现良好，在预测和不确定性估计上能与全量训练相当，同时节约高达70%的标注预算。这提示读者，在设计主动学习系统时，考虑多头架构可能带来显著的标注效率提升。
大型语言模型作为标注器的成本效益
使用GPT-3.5和GPT-4进行标注，结合混合注释策略，在AG新闻和腐烂的番茄等数据集上可取得与人工注释相似甚至更好的结果。这表明大型语言模型在主动学习中能有效降低标注成本，同时保持准确性。读者可关注如何将LLM集成到主动学习流程中，以平衡成本与质量。
主观任务与数据多样性
文章强调，对于主观性注释任务，收集多样化数据对有效训练模型至关重要。通过基于模型的方法为每个文本选择逐个注释的任务，可以最小化注释数量且几乎不损失知识。这提醒读者，在处理主观NLP任务时，应优先考虑数据多样性，而非单纯依赖不确定性采样。
Q&A
如何利用大型语言模型降低标注成本？
通过结合混合注释策略，使用大型语言模型（如GPT-3.5和GPT-4）可以在多个数据集上取得与人工注释相似或更好的结果，从而降低标注成本。
D-CALM算法的主要优势是什么？
D-CALM算法通过动态调整聚类和注释工作，显著优于基线方法，能够降低模型偏差并提高鲁棒性。
主动学习在文本生成中的应用效果如何？
研究表明，主动学习在文本生成方面的应用效果不佳，现有策略无法持续超越随机选择的基准线。
如何提高主动学习的标注效率？
可以通过提出基于多样性原则的查询策略和数据筛选算法来提高主动学习的标注效率，减少注释成本。
多头模型在不确定性估计方面的优势是什么？
多头模型在不确定性估计方面显著优于单头模型，能够节约高达70%的标注预算。
主动学习的局限性是什么？
主动学习的局限性在于其在不同模型和任务之间的泛化效果不可靠，且与独立同分布的随机样本训练相比，优势并不明显。
