研究聚焦深度神经网络中的“神经崩塌”现象:训练收敛后,同类特征收敛为相同均值向量,分类器呈单纯形等结构。研究将其扩展到深度线性网络、类别失衡数据和多标签分类,分析交叉熵与均方误差损失的全局优化景观,提出无约束特征模型等理论框架,并证明该现象可向更早层传播。实验验证了理论,并显示类别失衡会减慢收敛。
该文综述黑盒优化与机器学习的交叉研究,涵盖探索性景观分析识别人造特征、图像识别与神经网络驱动的特征提取、DoE2Vec用变分自编码器学习优化景观特征、强化学习自动化特征转换、深度生成网络在高维空间搜索、GKLS基准揭示的“大海捞针”难题、大规模超参数损失地形分析支撑AutoML、大语言模型自动进化优化算法,以及能量景观方法解释模型决策。
本文研究了深度神经网络训练中的神经崩溃现象,发现神经崩溃解决方案是唯一的全局极小值。作者还研究了调整超参数来改善优化景观的可能性,并在实际网络框架上验证了理论发现。
完成下面两步后,将自动完成登录并继续当前操作。