面向主观 NLP 任务的标注者中心主动学习
原文中文，约1300字，阅读约需3分钟。
📝
内容提要
本文探讨了主动学习中的标注成本和采样效率，提出了基于多样性原则的查询策略和自适应聚类算法D-CALM，显著提高了标注效率和模型性能。研究表明，结合大型语言模型（LLMs）与主动学习能够有效降低人工成本并提升决策效果。
❓
Q&A
如何利用大型语言模型降低标注成本？
通过结合混合注释策略，使用大型语言模型（如GPT-3.5和GPT-4）可以在多个数据集上取得与人工注释相似或更好的结果，从而降低标注成本。
D-CALM算法的主要优势是什么？
D-CALM算法通过动态调整聚类和注释工作，显著优于基线方法，能够降低模型偏差并提高鲁棒性。
主动学习在文本生成中的应用效果如何？
研究表明，主动学习在文本生成方面的应用效果不佳，现有策略无法持续超越随机选择的基准线。
如何提高主动学习的标注效率？
可以通过提出基于多样性原则的查询策略和数据筛选算法来提高主动学习的标注效率，减少注释成本。
多头模型在不确定性估计方面的优势是什么？
多头模型在不确定性估计方面显著优于单头模型，能够节约高达70%的标注预算。
主动学习的局限性是什么？
主动学习的局限性在于其在不同模型和任务之间的泛化效果不可靠，且与独立同分布的随机样本训练相比，优势并不明显。
🏷️
