【Transformer 与注意力机制】06｜梯度下降与反向传播
💡
原文中文，约41500字，阅读约需99分钟。
📝
内容提要
文章讨论了优化器的选择与学习率的调整，指出不同任务对优化器的需求。SGD在某些视觉任务上优于Adam，学习率过小可能导致训练缓慢和局部极小值问题。此外，梯度消失与爆炸仍是深度学习中的挑战，需要理解其在现代架构中的表现。
🎯
关键要点
- 文章讨论了优化器的选择与学习率的调整，强调不同任务对优化器的需求。
- SGD在某些视觉任务上优于Adam，学习率过小可能导致训练缓慢和局部极小值问题。
- 梯度消失与爆炸仍是深度学习中的挑战，需要理解其在现代架构中的表现。
❓
延伸问答
为什么选择不同的优化器对深度学习任务很重要？
不同任务对优化器的需求不同，例如SGD在某些视觉任务上优于Adam，因此选择合适的优化器可以提高训练效果。
学习率过小会导致什么问题？
学习率过小可能导致训练速度缓慢，并可能陷入局部极小值，影响模型的收敛性。
什么是梯度消失和爆炸？
梯度消失是指在深度网络中，梯度逐层传递时逐渐减小，导致前面层几乎无法学习；梯度爆炸则是指梯度逐层传递时逐渐增大，导致参数更新过大，训练不稳定。
如何解决梯度消失和爆炸的问题？
可以通过使用残差连接、归一化层和合理的激活函数等方法来缓解梯度消失和爆炸的问题。
为什么在训练Transformer时需要warmup？
warmup可以帮助优化器在训练初期稳定学习率，避免因参数初始化不当导致的训练不稳定。
SGD和Adam优化器有什么区别？
SGD使用固定学习率，而Adam是自适应学习率优化器，能够根据历史梯度动态调整学习率，适合处理不同参数的学习需求。
➡️
