本文研究了无穷展开网络中平滑软阈值函数的优化保证,证明了存在满足PL$^*$条件的损失函数空间特定区域,从而保证全局最小值的存在和使用梯度下降方法的指数级收敛。同时,比较了无穷展开网络与标准的全连接前向网络(FFNN)的训练样本数量阈值,并证明无穷展开网络具有更高的阈值,因此预期无穷展开网络的期望误差将优于FFNN。
本文研究了两层神经网络在全局最小值附近的损失函数图景,确定了能够实现完美泛化的参数集,并描述了其梯度流动。通过新颖的技术,揭示了复杂的损失函数图景的简单特征,并解释了过度参数化的神经网络能够很好地泛化的原因。
完成下面两步后,将自动完成登录并继续当前操作。