让炼丹更科学一些（三）：SGD的终点损失收敛
💡
原文中文，约8300字，阅读约需20分钟。
📝
内容提要
本文探讨了SGD的收敛性质，特别是终点损失与理论最优值的关系。通过理论推导，证明了训练结束时权重与最优值的接近程度，并强调了平均损失收敛与终点损失收敛的相似性，为训练实践提供了理论支持。
🎯
关键要点
- 本文探讨SGD的收敛性质，特别是终点损失与理论最优值的关系。
- 现有研究仅保证损失值的收敛，未能保证找到最优值的具体位置。
- 训练结束时的权重应更接近理论最优值，本文旨在理论上验证这一点。
- 通过将平均损失的收敛结果转化为终点损失的收敛结果，初步了解权重与最优值的距离。
- 利用L的凸性和Jensen不等式，得出训练轨迹的质心对应的损失值平均收敛于最优值。
- 计算质心提供了一种寻找最优值的方法，但未完全解决权重收敛的问题。
- 通过推广已有不等式，得出终点损失的收敛结果，强调终点损失与平均损失的相似性。
- 静态学习率下，终点损失的收敛速度稍慢于平均损失的收敛速度。
- 动态学习率下，终点损失的收敛速度与平均损失相同，但常数可能更大。
- 本文将SGD的收敛结论从平均损失推广到终点损失，更贴合训练实践。
❓
延伸问答
SGD的终点损失收敛有什么重要性？
SGD的终点损失收敛能够帮助我们理解训练结束时的权重与理论最优值的接近程度，从而更好地指导训练实践。
如何证明SGD的终点损失收敛？
通过将平均损失的收敛结果转化为终点损失的收敛结果，并利用L的凸性和Jensen不等式进行理论推导。
静态学习率和动态学习率下，终点损失的收敛速度有什么区别？
静态学习率下，终点损失的收敛速度稍慢于平均损失；而动态学习率下，终点损失的收敛速度与平均损失相同，但常数可能更大。
SGD的收敛性质与理论最优值的关系是什么？
SGD的收敛性质保证了损失值的收敛，但并不保证找到最优值的具体位置，理论上训练结束时的权重应更接近理论最优值。
训练轨迹的质心如何影响SGD的收敛？
训练轨迹的质心对应的损失值平均而言是收敛于理论最优值，这解释了对训练轨迹进行滑动平均以获得更好权重的合理性。
SGD的收敛结论如何从平均损失推广到终点损失？
通过推广已有的不等式，将平均损失的收敛结果转化为终点损失的收敛结果，从而更贴合训练实践。
➡️
