本研究提出了一种动态任务向量分组(DTVG)方法,旨在解决多任务提示调优中任务相似性细化不足的问题。该方法结合目标相似性和知识一致性,优化源任务组合,显著减少负迁移现象,并在26个NLP数据集上取得了先进的性能。
研究探讨大型语言模型在学习新语言时如何保持已掌握语言的性能。提出两阶段微调过程,发现任务相似性影响模型适应性,并验证微调方法在提升语言能力和保持任务性能上的有效性。
研究分析了迁移学习中任务相似性的理论,发现当目标任务与预训练模型的特征空间高度重合时,迁移学习效果优于从头训练,尤其在数据有限时能提升性能。
本文提出了一种理论框架,将任务相似性的复杂形式化与在线凸优化和序列预测算法融合。该方法能够自适应地学习任务相似性,提供更精确的转移风险界限,并在任务环境动态变化或任务共享几何结构的情况下导出高效算法的平均情况后悔界限。通过修改几种流行的元学习算法,改善了它们在少样本学习和联邦学习问题上的性能。
完成下面两步后,将自动完成登录并继续当前操作。