用于超参数搜索的多目标牛顿优化算法
内容提要
该文综述了神经网络优化与超参数优化研究，涵盖：箱限制数学优化结合光滑径向基函数寻找网络参数；分块对角近似计算高斯-牛顿矩阵以提升优化性能；多目标优化结合深度网络用于预测分析；基于TPE与高斯过程的超参数优化；多目标贝叶斯优化解决目标尺度问题；加权切比雪夫标量化训练网络并稀疏化；机器学习拟牛顿法求解OPF；具二次收敛的Gram-Gauss-Newton算法；NAG算法收敛速度分析；以及高效搜索超参数的HORD方法。
延伸解读
二阶优化与一阶方法的取舍
文中提到分块对角近似计算高斯-牛顿矩阵，有时能显著提升优化性能，且无需繁琐调参。但该方法针对前馈网络，且指出分段线性转移函数下目标函数可能不存在可微局部极大值，这解释了此类转移函数为何有助于优化。读者需注意，二阶方法并非普遍优于一阶方法，其收益取决于网络结构与转移函数。
多目标超参数优化的现实挑战
多篇工作聚焦超参数搜索的多目标特性：TPE结合异质噪声高斯过程回归元模型，在超体积指标上表现更好；另一方法通过统一目标规范化和随机化权重解决不同目标尺度问题，并借助并行化加速。这些设计说明，实际超参数优化中目标尺度差异和评估不确定性是必须处理的问题，而非单纯追求单目标最优。
理论收敛保证的边界
Gram-Gauss-Newton算法针对方形损失函数，理论证明对足够宽的神经网络具有二次收敛速度，并给出mini-batch版本的收敛保证。但这一结论依赖“足够宽”的网络假设，且实验仅初步显示比SGD收敛更快。读者应区分理论条件与常规网络实践，不宜将宽网络下的收敛结论直接外推到所有深度网络训练场景。
超参数搜索效率的量化参照
HORD方法以径向基函数为误差代理，通过动态坐标搜索减少函数评估，在MNIST和CIFAR-10的四个深度网络上表现良好，平均比GP-EI找到19个超参数最佳配置快6倍以上。这一对比提供了效率参照，但文章未说明其他数据集或网络规模下的表现，读者在借鉴时应关注其适用边界而非直接套用速度结论。
Q&A
有哪些方法可以自动寻找神经网络的最佳参数而无需手动调参？
一种基于箱限制数学优化问题的方法，运用光滑径向基函数模型及无导数优化工具自动搜索参数空间，已成功用于药物相互作用预测，且工具开源。
如何高效计算前馈神经网络的高斯-牛顿矩阵以提升优化性能？
采用分块对角近似方法计算高斯-牛顿矩阵，与一阶优化方法相比有时能显著提高优化性能，且无需繁琐调参即可提供良好性能。
多目标超参数优化中如何处理不同目标尺度不一致的问题？
提出多目标贝叶斯优化算法，通过统一目标规范化和随机化权重在标量化中解决不同目标尺度问题，并通过限制目标和并行化提高效率。
训练深度神经网络时存在多个冲突优化准则，有什么多目标优化算法？
使用修改后的加权切比雪夫标量化方法训练深度神经网络，实验证明可在训练过程中自适应稀疏化模型而不显著影响性能。
Gram-Gauss-Newton算法在训练深度神经网络时收敛速度如何？
对于足够宽的神经网络，GGN的收敛速度是二次的；每次迭代只有小的开销，且提供了mini-batch版本的收敛保证，实验表明比SGD收敛更快、性能更好。
HORD方法在超参数优化中相比GP-EI有什么优势？
HORD采用径向基函数作为误差代理，通过动态坐标搜索寻找最有前途的超参数值，需要更少的函数评估；在MNIST和CIFAR-10的四个深度网络上，平均比GP-EI获得19个超参数的最佳配置快6倍以上。
