本研究提出了一种稀疏训练策略,旨在解决多任务学习中的梯度冲突问题。通过部分参数更新,稀疏训练有效减轻了梯度冲突,提高了模型性能,并可与现有技术结合使用。
本研究首次引入了视觉模型的预训练不确定性模块,实现了零样本迁移。通过解决梯度冲突,训练速度提升了180倍。预训练的不确定性能够泛化到未见过的数据集,捕捉了基本不确定性。所有预训练的检查点和代码已发布。
本文提出了一种基于经验源领域风险的全新视角及相应的解决方案(DTCS),通过多样化目标监督和多样化贡献平衡两个创新模块,来解决领域通用中梯度冲突的问题。实验证明该方法在四个基准数据集上具有较高的竞争性表现,展示了 DTCS 方法的有效性和优势。
完成下面两步后,将自动完成登录并继续当前操作。