1974年，哈佛大学沃伯斯博士提出了误差反向传播算法，通过误差的梯度做反向传播，更新模型权重，实现网络的万能近似功能。梯度下降法是用来计算函数最小值的。选择合适的学习率是训练神经网络模型的重要步骤之一。反向传播算法的出现，大大提高了模型训练的效率与精度，使复杂神经网络模型的训练成为可能。