谨慎使用手术刀：用 EMA 改进梯度手术
内容提要
本文综述多任务学习中的梯度冲突问题，提出将任务梯度投影到冲突梯度法平面以消除干扰，从而提升效率与性能。同时涉及模型EMA缩放规则、优化器Omega、在线交替最小化、度量学习梯度分解、梯度手术缓解域偏移、对比学习多目标优化、双层优化转极小极大、隐式偏差正则化及GSAM泛化改进等方法。
延伸解读
梯度手术的核心思想
梯度手术通过将任务的梯度投影到其他冲突梯度的法线平面上，直接消除多任务学习中的梯度干扰。这种方法不依赖于特定模型架构，在多项测试中显著提升了效率和性能，为多任务学习提供了一种简单通用的解决方案。
梯度手术在域偏移中的应用
在域偏移场景下，多域数据训练常导致梯度冲突。利用梯度手术缓解这些冲突，可以提高模型在未见域上的泛化能力。在三个多域数据集的图像分类任务中，梯度一致性策略的有效性得到了验证，为域泛化提供了新思路。
与其他优化方法的关联
文章还涉及多种优化技术，如模型EMA缩放规则、优化器Omega、在线交替最小化、度量学习梯度分解、对比学习多目标优化、双层优化转极小极大、隐式偏差正则化及GSAM泛化改进。这些方法从不同角度处理梯度噪声、优化稳定性和泛化问题，与梯度手术共同构成了优化领域的丰富工具箱。
Q&A
多任务学习中梯度冲突问题有什么解决方法？
可以将任务的梯度投影到任何具有冲突梯度的其他任务的梯度的法线平面上，从而消除梯度干扰，提高效率和性能。
模型EMA的缩放规则有什么作用？
该缩放规则在各种架构、优化器和数据模态下有效，能展示模型EMA对目标模型优化的贡献，使EMA基于伪标记和自监督学习的方法能在小批量和大批量训练下使用，并以最佳化6倍的壁钟时间降低训练BYOL。
优化器Omega相比乐观梯度法有什么优势？
Omega通过EMA历史梯度更新来减轻噪声影响，实验表明，在应用于线性玩家时Omega优于乐观梯度法。
在线交替最小化方法训练深度神经网络有什么理论保证？
该方法在随机设置下具有理论收敛保证，并在不同体系结构和数据集上展示出有前景的实证结果。
如何通过梯度手术缓解域偏移问题？
使用梯度手术来缓解多域数据训练时出现的梯度冲突，进而提高深度学习模型在域偏移场景下的泛化能力，在三个多域数据集上的图像分类任务中验证了所提出的梯度一致性策略的价值。
GSAM如何改进泛化性能？
GSAM通过引入代理间隙来衡量低锐度，并定义两步优化过程：梯度下降和在正交方向上的上升步骤，以达到低损失和低锐度，在ImageNet上ViT-B/32的top-1准确率上优于SAM和AdamW，且计算开销可忽略。
