小红花·文摘

梯度下降是一种优化方法，通过计算斜率来寻找最低点。最近的研究表明，采取大步骤可能更快，但这并不改变当前梯度下降的使用方式。实际应用中的优化程序更加复杂，常规梯度下降仍然是首选。目前还没有人能够解释最佳解决方案的基本结构。