该文综述了神经网络优化与超参数优化研究，涵盖：箱限制数学优化结合光滑径向基函数寻找网络参数；分块对角近似计算高斯-牛顿矩阵以提升优化性能；多目标优化结合深度网络用于预测分析；基于TPE与高斯过程的超参数优化；多目标贝叶斯优化解决目标尺度问题；加权切比雪夫标量化训练网络并稀疏化；机器学习拟牛顿法求解OPF；具二次收敛的Gram-Gauss-Newton算法；NAG算法收敛速度分析；以及高效搜索超参数的HORD方法。