为神经排序模型微调标注数据?当前主动学习策略不如随机选择

原文约200字,阅读约需1分钟。发表于:

本文研究了在有限的训练数据和预算下微调基于预训练语言模型的排序器,发现随机选择不同子集的训练数据进行微调时产生的有效性存在巨大的变化,并探究了主动学习策略在降低标注成本方面的有效性

本文探讨了使用预训练语言模型进行主动学习时的问题,并提出了使用未标注数据来适应目标任务的解决方法。同时,提出了一种简单有效的微调方法来保证适应的语言模型在低资源和高资源情况下都能得到适当的训练。实验结果表明,该方法比标准微调方法更有效,可以提高数据效率。

相关推荐 去reddit讨论