我们提出了一种残差学习框架，以降低深层神经网络的训练难度。通过学习残差函数，残差网络更易于优化，且随着深度增加，精度提升。在ImageNet上测试的152层残差网络的复杂度低于VGG。

本文从贝叶斯角度出发，研究线性模型的训练速度与边缘似然之间的联系。发现训练速度可估计边缘似然，并预测线性模型组合中模型的相对权重。实验证明这种直觉在深层神经网络中也成立，为解释随机梯度下降训练的神经网络偏向良好泛化函数提供新方向。