本文介绍了CoBa方法,通过动态调整任务权重,解决大语言模型多任务学习中的计算密集和任务收敛不均衡问题。实验表明,该方法不仅改善了任务平衡,还提升了模型性能,最高可达13%。
本研究提出了一种在线多任务学习(OMTL)方法,通过按顺序处理数据预测任务标签并学习任务权重和相互关系。通过引入三种规则来更新任务相互关系矩阵,OMTL方法在三个数据集上的性能评估表明,在EEG数据上准确率提高了1%至3%,并在垃圾邮件数据集上保持了约12%的低错误率。
完成下面两步后,将自动完成登录并继续当前操作。