用坐标搜索算法训练人工神经网络
内容提要
该文综述神经网络优化研究，指出SGD可克服局部最优；训练两层网络时首层权重收敛于真实主子空间，泛化误差与宽度无关，样本复杂度随维度线性增长，优于神经切向核；并介绍二阶、多目标、稀疏训练及块坐标下降等算法，以提升收敛速度与效率。
延伸解读
SGD为何能克服局部最优
文章指出，现代神经网络足以用随机梯度下降（SGD）直接完成庞大的非线性优化任务，并能克服局部最优解的困难。这意味着在实际训练中，SGD不仅计算高效，还具备跳出或避开局部极小的能力，为深度网络的优化提供了理论支持。
两层网络训练中的主子空间收敛
对于高斯输入和多指数模型目标，SGD结合权重衰减训练两层网络时，第一层权重会收敛到真实模型向量张成的k维主子空间。由此可建立与网络宽度无关的泛化误差边界，且样本复杂度随维度d线性增长，这优于神经切向核的已知样本要求。
二阶与稀疏训练的效率提升
文章介绍了多种提升训练效率的算法：基于二阶数值优化的CDSD方法通过有限差分计算海森矩阵并调整步长，保持良好收敛性；始终稀疏训练算法具有线性时间复杂度，并通过引导随机探索改善稀疏训练的准确性；近似二阶方法结合共轭梯度，大幅降低空间和时间复杂度。
多目标与块坐标下降的优化视角
针对深度学习中多个冲突的优化准则，文章提出多目标优化算法，使用修改后的加权切比雪夫标量化方法训练DNN，并能在训练中自适应稀疏化模型而不显著影响性能。此外，块坐标下降训练算法具有全局收敛性和R-线性收敛速率，实验中优于Caffe工具箱中所有SGD变体。
Q&A
随机梯度下降（SGD）训练神经网络时，能否克服局部最优解？
可以。文章指出，现代神经网络足以直接用随机梯度下降算法实现庞大的非线性优化任务，并且能够克服局部最优解的困难。
用SGD训练两层神经网络时，第一层权重会收敛到什么？
当输入x是高斯分布、目标y遵循多指数模型，且基于SGD和权重衰减训练时，第一层权重将收敛于真实模型的向量u1,...,uk所张成的k维主子空间。
SGD训练的两层神经网络泛化误差与网络宽度有关吗？
无关。文章证明可以建立一个独立于神经网络宽度的一般化误差边界。
SGD训练的ReLU神经网络学习单指标目标时，样本复杂度如何？
样本复杂度与输入维度d成线性关系，而不是像核区域中任何p次多项式那样需要d^{O(p)}样本，这表明在初始化时使用SGD训练的神经网络可以胜过神经切向核。
有哪些二阶优化方法用于训练神经网络？
文章提到了基于二阶数值优化的深度学习算法，使用复合数算法流的有限差分（CDSD）计算海森矩阵并调整步长；还有实用的近似二阶方法，包括Hessian矩阵的近似和共轭梯度（CG）算法，与一级近似结合可减少空间和时间复杂度。
块坐标下降（BCD）训练算法在深度神经网络中表现如何？
文章提出了一种光滑的多凸形式，利用近端点方法开发了块协调下降（BCD）训练算法，证明了其具有全局收敛性和R-线性收敛速率，并在实验中展示了优于Caffe工具箱中所有随机梯度下降（SGD）变体的表现。
如何实现神经网络的稀疏训练以提高效率？
文章提出一种高效的、始终稀疏训练算法，具有线性时间复杂度，并通过引导随机探索算法改善了先前稀疏训练方法的准确性；另外，多目标优化算法使用修改后的加权切比雪夫标量化方法，可以在训练过程中自适应地稀疏化模型而不显著影响性能。
