该文综述多项研究,探讨神经网络的隐性偏差。批归一化和权重衰减可能促成神经崩溃;深度网络倾向低秩解以提升泛化;稳定秩初始化可加速收敛;图神经网络存在超平滑与秩崩溃,Kronecker积之和可缓解;权重衰减实为改变训练动态。
完成下面两步后,将自动完成登录并继续当前操作。