非可微对神经网络训练的三种影响
内容提要
该文综述神经网络优化与泛化研究，涵盖：ReLU网络无虚假局部极小且损失可任意小；DNN收敛速率近最优；常见损失在实现空间凸；提出可微代理函数训练非可微目标；惰性训练不适用于深度卷积网络；研究差分隐私随机优化及梯度下降隐式偏差；指出固定尺寸函数集高度非凸等不良性质；两层网络梯度下降可全局线性收敛。
延伸解读
理论乐观与架构限制的张力
文章汇总的多项理论结果（如ReLU网络无虚假局部极小、两层网络梯度下降全局线性收敛）多基于浅层或特定条件。但同一综述也指出，惰性训练不适用于深度卷积网络，且固定尺寸函数集高度非凸。读者需注意：这些良好优化性质不能简单外推到深层卷积架构，理论保证与实战表现之间存在架构与任务差异。
非可微目标的代理训练思路
针对计算机视觉中非可微评估指标难以直接优化的问题，文章提出用可微代理函数进行训练，并覆盖可分解与不可分解指标。这一思路的价值在于把训练目标从损失函数扩展到更贴近实际评价的任务指标，但代理函数与原目标之间的偏差程度、以及代理优化是否稳定，仍需结合具体任务判断。
差分隐私训练的可行性边界
文章讨论了全连接网络差分隐私随机优化，提出多种算法并分析不同数据维度下超出总体风险的可行性，还涉及ReLU两层网络及DP-SGD在全连接多层网络中的理论保证与参数作用。这表明隐私保护训练并非无条件可行，其效果与网络结构、数据维度和隐私参数设置相关，读者应关注这些条件而非仅看算法名称。
隐式偏差与收敛性风险并存的启示
梯度下降在两层ReLU网络中会收敛到具有稳定排名的网络，标准化边界渐近相同，体现优化过程的隐式偏差；但固定尺寸函数集的高度非凸、对权重不具反稳定性等性质，又提示参数爆炸与学习缓慢的潜在风险。两者并置说明：训练成功不仅取决于收敛速率，也取决于函数集拓扑与参数化方式带来的结构性限制。
Q&A
ReLU神经网络是否存在虚假局部极小值？
对于具有ReLU激活函数的一层神经网络，研究发现其具有多样的单元，没有虚假局部最小值。在满足“扩展特征矩阵”的最小奇异值足够大的条件下，可以使损失函数变得任意小。
深度神经网络的收敛速率是否最优？
研究表明，使用ReLU激活的DNN估计器的收敛速率几乎是最优的，而某些流行模型则未达到最优速率。这为选择合适的DNN层数和宽度提供了指导。
常见损失函数在实现空间上是否凸？
研究发现，常见的损失函数在实现空间上是凸的。通过利用神经网络的近似能力处理非凸性，并利用Sobolev范数建立限制的参数化空间来实现反稳定性，证明在受限制的参数化空间内优化仍可学习任何可通过无限制优化学习的函数。
如何训练非可微目标函数的神经网络？
在计算机视觉领域，针对非可微目标函数的训练问题，提出使用可微的代理函数进行训练的解决方案，使得神经网络训练更易扩展到新型任务，包括可分解和不可分解的评估指标。
惰性训练是否适用于深度卷积网络？
理论分析和数值实验表明，惰性训练现象不仅局限于过度参数化的神经网络，也适用于其他优化问题。然而，在计算机视觉中，惰性训练并不适用于深度卷积神经网络的训练，因此惰性训练很可能不是神经网络在高维任务中成功的原因之一。
两层ReLU网络梯度下降能否全局线性收敛？
研究表明，在神经网络中使用ReLU激活函数和随机初始化梯度下降法，可以以全局线性收敛率收敛于全局最优解。其分析依赖于神经网络的超参数和随机初始化方式，这些经验也可能有助于分析深度网络等其他一阶方法。
