中级任务迁移学习中任务选择的有效性与一致性探究

BriefGPT - AI 论文速递 · 2024-07-23T00:00:00Z

本文研究了将自然语言处理大规模语言模型fine-tuning应用于其他任务的有效性。通过在33个NLP任务上的数据验证，结果显示在数据稀缺情况下，transfer learning仍然有效。同时提出了预测最具可转移性源任务的任务嵌入，并验证了其在数据大小、源和目标之间的有效性。结果显示源数据大小、任务和领域的相似性和任务的复杂性在决定转移性方面起着关键作用。