为神经排序模型微调标注数据?当前主动学习策略不如随机选择
💡
原文中文,约200字,阅读约需1分钟。
📝
内容提要
本文探讨了使用预训练语言模型进行主动学习时的问题,并提出了使用未标注数据来适应目标任务的解决方法。同时,提出了一种简单有效的微调方法来保证适应的语言模型在低资源和高资源情况下都能得到适当的训练。实验结果表明,该方法比标准微调方法更有效,可以提高数据效率。
🎯
关键要点
- 探讨使用预训练语言模型进行主动学习时的问题。
- 提出使用未标注数据来适应目标任务的解决方法。
- 提出一种简单有效的微调方法,适应低资源和高资源情况。
- 实验结果表明该方法比标准微调方法更有效。
- 该方法提高了数据效率,避免不良训练策略对主动学习的负面影响。
➡️