DADEE:早期退出预训练语言模型中的无监督领域适应
原文中文,约300字,阅读约需1分钟。发表于: 。本研究解决了预训练语言模型在不同领域间迁移时表现不佳的问题,提出了一种基于知识蒸馏的多层适应策略DADEE。该方法通过在每个层级应用基于生成对抗网络的对抗适应,显著减小源领域与目标领域之间的差距,同时加快推理速度并减少灾难性遗忘。实验结果表明,DADEE在多种任务中超越了早期退出和其他领域适应方法。
本文研究了无监督领域适应在下游任务中的应用,提出了UDALM微调方法,结合分类和掩码语言模型损失。实验表明,混合损失训练模型的性能与目标数据量相关,可作为训练停止的标准。在Amazon评论数据集上,准确率达到91.74%,超过现有技术1.11%。