中级任务迁移学习中任务选择的有效性与一致性探究
原文中文，约300字，阅读约需1分钟。发表于：。通过实验和比较不同的任务选择方法，我们研究了中间任务选择对中间任务传递学习的影响，并发现使用 fine-tuned 权重构建的任务嵌入可以更好地估计任务的传递能力，但对于需要推理能力的任务，任务嵌入并不一定具有优势。此外，我们还引入了一种使用最大内积搜索来测量两两标记相似性的新方法，该方法在任务预测中表现最好。我们的研究结果表明，与平均权重相比，标记上的相似性更能预测任务的传递能力。
本文研究了将自然语言处理大规模语言模型fine-tuning应用于其他任务的有效性。通过在33个NLP任务上的数据验证，结果显示在数据稀缺情况下，transfer learning仍然有效。同时提出了预测最具可转移性源任务的任务嵌入，并验证了其在数据大小、源和目标之间的有效性。结果显示源数据大小、任务和领域的相似性和任务的复杂性在决定转移性方面起着关键作用。
