本研究提出了一种稀疏训练策略,旨在解决多任务学习中的梯度冲突问题。通过部分参数更新,稀疏训练有效减轻了梯度冲突,提高了模型性能,并可与现有技术结合使用。
本文综述多任务学习中的梯度冲突问题,提出将任务梯度投影到冲突梯度法平面以消除干扰,从而提升效率与性能。同时涉及模型EMA缩放规则、优化器Omega、在线交替最小化、度量学习梯度分解、梯度手术缓解域偏移、对比学习多目标优化、双层优化转极小极大、隐式偏差正则化及GSAM泛化改进等方法。
本文提出了一种基于经验源领域风险的全新视角及相应的解决方案(DTCS),通过多样化目标监督和多样化贡献平衡两个创新模块,来解决领域通用中梯度冲突的问题。实验证明该方法在四个基准数据集上具有较高的竞争性表现,展示了 DTCS 方法的有效性和优势。
完成下面两步后,将自动完成登录并继续当前操作。