基于分析的不确定性损失加权的多任务学习
内容提要
本文介绍了多任务学习的多种方法，如基于均方差误差的权重、知识蒸馏、方差系数和随机加权，旨在提升分类和回归任务的性能。同时，研究探讨了负迁移问题和样本级别加权算法SLGrad，强调了多目标优化在任务平衡中的潜力。
延伸解读
多任务学习权重方法的演进
文章梳理了从2017年到2024年多任务学习权重方法的演进：早期基于均方差误差的权重，随后出现知识蒸馏、方差系数、随机加权等方法。这些方法旨在平衡不同任务的损失，提升整体性能。读者可以从中看到研究重点从简单加权向更复杂优化策略的转变。
负迁移与样本级加权
文章特别强调了负迁移问题，即辅助任务可能损害主任务性能。SLGrad等样本级加权算法通过调整训练中的任务分布，抑制有害信号、增强有用信号，从而提高泛化能力。这提示实践者在设计多任务模型时需关注任务间的干扰，并考虑细粒度加权策略。
标量化与多目标优化的争议
文章重新审视了标量化（线性加权）在多任务学习中的默认地位，指出线性模型无法完全探索帕累托前沿，尤其是平衡权衡的解。专用多任务优化器（SMTOs）在寻找平衡解方面展现出潜力。这一发现挑战了传统做法，为未来研究指明了方向。
标签噪音与梯度不确定性
针对标签噪音场景，文章提出考虑过度风险的任务平衡方法，以解决任务权重调整的挑战。此外，基于贝叶斯推断的梯度聚合方法能考虑梯度不确定性，提升性能。这些进展表明，多任务学习正朝着更鲁棒、更适应现实噪声的方向发展。
Q&A
多任务学习中如何处理分类和回归任务的权重？
可以通过基于均方差误差的权重方法来处理分类和回归任务，表现优于独立训练的模型。
知识蒸馏在多任务学习中有什么作用？
知识蒸馏通过先学习任务特定模型，再学习多任务模型，解决了不平衡问题，提升整体性能。
什么是SLGrad算法，它的作用是什么？
SLGrad是一种样本级别加权算法，通过样本特定的任务权重改变训练过程中的任务分布，提高神经网络的泛化性能。
随机加权方法在多任务学习中有什么优势？
随机加权方法具有可比拟的性能和更好的泛化能力，是多任务学习的重要基线方法。
多任务学习中的负迁移问题如何解决？
可以通过指数移动平均进行损失平衡的技术来解决负迁移问题，实现高效训练。
线性多任务学习模型的局限性是什么？
线性多任务学习模型无法全面探索帕累托前沿，特别是在多个任务之间取得平衡的帕累托最优解。
