MTLComb：多任务学习结合回归和分类任务的联合特征选择
内容提要
本文综述了多任务学习（MTL）的算法建模、任务聚类和半监督学习，提出了新型MTL模型和优化方法，展示了其在回归、分类及深度神经网络中的应用，强调了在不同监督设置下的性能提升和泛化能力。
延伸解读
多任务学习优化方法的演进
文章梳理了多任务学习优化方法的多个进展：从EMTL通过正则化任务相对贡献改善泛化，到Nash-MTL将梯度组合视为协商议价游戏并取得基准测试最佳结果，再到可控Pareto框架实现实时权衡控制。这些方法反映了多任务学习从静态权重到动态博弈的优化趋势，为读者理解不同优化策略的适用场景提供了线索。
任务关系结构的学习与利用
文章提到一种新型MTL模型通过交替极小化算法联合估计任务关系结构和任务参数，并应用于回归和分类问题。这表明任务间关系并非预先给定，而是可以从数据中学习。结合灰色图模型的结构学习，该方法在温度预测等数据集上表现出优势，提示读者关注任务关系建模对性能提升的潜在价值。
半监督与部分监督下的多任务学习
文章指出多任务学习在部分监督设置下具有更低的内存需求和推理时间，并能通过分布匹配实现任务间知识交流，在少量注释或非重叠注释情况下仍能成功。这为标注数据稀缺的场景提供了思路，例如FaceBehaviorNet在面部行为分析中利用弱监督共同训练，实现了零/少样本学习。
多任务学习与元学习的关联
文章探讨了多任务学习与基于梯度的元学习（GBML）之间的关系，证明两者在优化公式和学习到的预测函数上具有相似性。MTL作为一阶方法可以替代计算代价高的二阶GBML，在大规模数据集上训练更高效。这一发现有助于读者理解不同学习范式之间的理论联系，并为方法选择提供依据。
Q&A
什么是多任务学习（MTL）？
多任务学习（MTL）是一种机器学习方法，通过共享资源同时处理多个任务，以提高学习效率和模型性能。
EMTL优化方法的主要特点是什么？
EMTL是一种新型多任务学习优化方法，通过正则化不同任务的相对贡献来改善泛化性能。
Nash-MTL优化过程是如何工作的？
Nash-MTL将多个任务之间的梯度组合视为协商议价游戏，利用合理的Nash议价解进行多任务联合优化。
多任务学习在深度神经网络中的应用有哪些？
多任务学习在深度神经网络中的应用包括体系结构设计、优化方法和任务关系学习等方面。
可控Pareto多任务学习框架的目的是什么？
可控Pareto多任务学习框架旨在实现多个任务之间的实时权衡控制，以优化模型性能。
多任务学习在部分监督设置下的优势是什么？
多任务学习在部分监督设置下具有更低的内存需求和推理时间，同时能够有效解决相关挑战。
