该文综述神经网络优化研究，指出SGD可克服局部最优；训练两层网络时首层权重收敛于真实主子空间，泛化误差与宽度无关，样本复杂度随维度线性增长，优于神经切向核；并介绍二阶、多目标、稀疏训练及块坐标下降等算法，以提升收敛速度与效率。

该文综述神经网络优化与泛化研究，涵盖：ReLU网络无虚假局部极小且损失可任意小；DNN收敛速率近最优；常见损失在实现空间凸；提出可微代理函数训练非可微目标；惰性训练不适用于深度卷积网络；研究差分隐私随机优化及梯度下降隐式偏差；指出固定尺寸函数集高度非凸等不良性质；两层网络梯度下降可全局线性收敛。

该文综述了神经网络优化与超参数优化研究，涵盖：箱限制数学优化结合光滑径向基函数寻找网络参数；分块对角近似计算高斯-牛顿矩阵以提升优化性能；多目标优化结合深度网络用于预测分析；基于TPE与高斯过程的超参数优化；多目标贝叶斯优化解决目标尺度问题；加权切比雪夫标量化训练网络并稀疏化；机器学习拟牛顿法求解OPF；具二次收敛的Gram-Gauss-Newton算法；NAG算法收敛速度分析；以及高效搜索超参数的HORD方法。