本文探讨了深度神经网络的频率偏向、Jacobian谱结构及超参数对性能的影响。研究发现,深度网络在学习高频函数时受参数扰动影响,且不同非线性函数具有普适极限谱分布。此外,随机初始化和稀疏神经活动显著影响网络性能,并提出了新的核函数以优化学习速度和泛化能力。
该文综述神经网络隐式偏差研究,指出深度网络因结构冗余而偏好简单、低频、低秩函数,从而具备良好泛化能力。研究涵盖随机插值器、ReLU网络频率偏向、PAC-Bayes泛化保证及训练不变性,并探讨参数扰动对频率表达的影响。
完成下面两步后,将自动完成登录并继续当前操作。