小心使用手术刀：通过指数移动平均改进梯度手术
内容提要
深度学习估计流水线通常依赖于辅助目标来量化和鼓励模型的良好特性。最近的研究表明，通过混合梯度可以改善性能，这被称为梯度手术。我们提出了一种方法，通过将训练损失梯度和辅助梯度在训练梯度上的正交投影相结合，来解决这个双层问题。我们展示了我们的方法在自然语言处理和视觉实验中比其他梯度手术方法更好。
延伸解读
梯度手术的约束视角
文章将辅助目标与训练损失的结合视为一个约束最小化问题：在训练损失的最小化集合中最小化辅助目标。这种双层问题视角不同于简单地将辅助损失相加作为正则项，也不同于其他梯度手术方法。它强调辅助目标不应干扰训练损失的最小化，而是应在训练损失最优的前提下优化辅助目标。
正交投影与移动平均的作用
为了解决双层问题，文章提出结合训练损失梯度和辅助梯度在训练梯度上的正交投影。正交投影确保辅助梯度不改变训练损失的一阶下降方向。在小批量梯度场景中，由于梯度噪声，正交性可能被破坏，因此使用训练损失梯度的移动平均来维护正交性。这是方法的关键技术细节。
Bloop的实验表现
文章在自然语言处理和视觉实验中验证了Bloop方法，结果显示其性能优于其他不使用指数移动平均的梯度手术方法。这表明移动平均维护正交性的机制在实际任务中有效，且方法具有跨领域的适用性。但文章未提供具体数据集、指标或数值对比，读者需参考原文实验部分获取细节。
Q&A
什么是梯度手术？
梯度手术是一种通过混合训练损失梯度和辅助梯度来改善深度学习模型性能的方法。
Bloop方法如何解决双层问题？
Bloop方法通过结合训练损失梯度和辅助梯度在训练梯度上的正交投影来解决双层问题。
使用辅助目标的好处是什么？
使用辅助目标可以量化和鼓励模型的良好特性，如性能和鲁棒性。
Bloop方法在实验中表现如何？
Bloop方法在自然语言处理和视觉实验中表现优于其他梯度手术方法。
如何维护训练损失梯度的正交性？
通过使用训练损失梯度的移动平均，可以维护训练损失梯度的正交性。
深度学习估计流水线的主要依赖是什么？
深度学习估计流水线通常依赖于辅助目标来量化和鼓励模型的良好特性。
