本研究探讨了过参数化神经网络的泛化能力,证明测试误差与过参数化水平及VP维度无关。提出了一种新方法,通过构建零损失最小化器,发现泛化误差与数据几何、激活函数的光滑性及权重范数相关。
本研究探讨了深度学习中过参数化模型的泛化能力,提出了一种在宽松假设下的有效方法,表明足够的训练样本和网络规模能够实现有效泛化,且数据需求依赖于特定分布。
本文探讨了过参数化深度学习网络在监督学习中实现零损失的条件,并提供了构造零损失最小化器的方法,指出网络深度增加可能降低梯度下降效率。
本研究探讨了过参数化对离群检测的影响,提出了一种新的离群风险度量。结果显示,当参数数量等于样本数量时,离群风险会出现无限峰值,且过参数化不一定提升离群检测效果。
本研究探讨了过参数化张量分解中的隐式正则化,提出一种新方法,证明小随机初始化下的梯度下降能引导模型趋向低管状秩解,从而提升图像数据建模性能。
本研究探讨了过参数化集成神经网络与单一大型神经网络在泛化能力上的相似性,质疑了传统集成学习的优势假设,促使对深度集成学习的重新审视。
本研究通过降噪核近似和收敛性分析的方法,对SGD算法在过参数化的两层神经网络中的收敛速度进行了研究,提供了对其收敛行为的深入理解,并探索了核方法和优化过程之间的相互作用。研究还在神经元数量约束上取得了进展,使神经网络的设计和扩展更加灵活。
本研究通过降噪核近似和收敛性分析的方法,研究了SGD算法在过参数化的两层神经网络中的收敛速度。研究发现核方法和优化过程之间存在复杂的相互作用,为神经网络的优化动力学和收敛性质提供了启示。此外,研究还在神经元数量的约束上取得了重要进展,使神经网络的设计和扩展更加灵活。
本文分析了用于训练过参数化的两层物理信息神经网络的隐性梯度下降法的收敛性,证明了平滑激活函数的 Gram 矩阵是正定的。通过过参数化,随机初始化的隐性梯度下降法以线性收敛速率收敛于全局最优解,并且可以独立于样本大小和 Gram 矩阵的最小特征值选择学习率。
完成下面两步后,将自动完成登录并继续当前操作。