泛化与平坦极小之间的 PAC-Bayesian 联系
内容提要
该文综述深度学习泛化与平坦极小值研究，从PAC-Bayesian视角提出归一化平坦极小值，探讨损失景观、Hessian谱与泛化的关系，发现SGD偏好平滑解，线性ResNets零初始化收敛于最平滑最小值，并给出优化算法与泛化界限。
延伸解读
归一化平坦极小值的尺度不变性
文章指出，传统的平坦极小值度量存在尺度依赖问题，即网络权重的缩放会改变平坦度的评估，导致比较不同模型时出现偏差。为此，作者引入归一化的平坦极小值概念，该度量不受尺度影响，能更公平地反映损失景观的平坦程度，并提供更好的假设类层次结构，为泛化分析奠定基础。
SGD的平滑偏好与线性ResNets的收敛特性
文章提到，随机梯度下降（SGD）具有偏好平滑最小值的隐含偏差。在具有二次损失的线性神经网络训练中，线性ResNets的零初始化必然收敛于所有最小值中最平滑的最小值，这些最小值对应着接近平衡的网络。此外，相邻层的权重矩阵在平坦极小值解中相互耦合，形成从输入到输出的明显路径，仅用于传递端到端最大增益的信号。
Hessian谱与泛化界限的理论联系
文章探讨了损失Hessian谱与泛化之间的关系，基于一个猜想将深度神经网络的损失Hessian与输入输出Jacobian联系在一起。作者证明了一系列理论结果，量化了模型输入输出Jacobian在数据分布上近似其Lipschitz范数的程度，并推导出新的泛化界限。这些结果用于解释渐进锐化现象以及平坦极小值的泛化特性，并提供了实验证据。
Q&A
什么是归一化平坦极小值？它解决了什么问题？
归一化平坦极小值是本文从PAC-Bayesian角度引入的概念，它不受已知尺度依赖问题的影响，并能提供更好的假设类层次结构。
SGD在训练深度网络时有什么隐含偏差？
研究表明，随机梯度下降有一个偏好于平滑最小值的隐含偏差。
线性ResNets在零初始化下会收敛到什么解？
在具有二次损失的线性神经网络训练中，线性ResNets的零初始化必然收敛于所有最小值中最平滑的最小值，这些最小值对应着接近平衡网络。
损失Hessian与泛化之间有什么关系？
本文提出了一种新方法理解深度学习中损失曲率和泛化之间的关系，使用深度网络损失Hessian频谱的经验分析，基于一个猜想将损失Hessian和输入输出Jacobian联系在一起，并推导出新的泛化界限，为渐进锐化现象和平坦极小值的泛化特性提供新解释。
PAC-Bayesian框架如何为过参数化网络提供泛化界限？
本文研究了过参数化的深层网络使用SGD能够良好推广的能力，提出了一种PAC-Bayesian框架，利用这种能力为原始网络提供界限，同时不会受到权重矩阵谱范数乘积的影响。
如何高效地找到平坦极小值？
本文探讨了如何高效地找到近似的优化算法的平坦极值，提出了基于梯度和随机扰动的算法，在训练数据成本函数的情况下，提出了更快的算法。
