本文研究了双层全连接神经网络的早期学习动态,并证明了通过训练简单的线性模型可以模仿其行为。研究还发现这种简单性可以在更多层和具有卷积结构的网络中持续存在。
双层全连接神经网络的早期学习动态可以通过训练简单的线性模型来模仿。
研究表明,约束初始时的神经切向核(NTK)和数据核的谱范数差异是关键。
这种简单性在更多层和具有卷积结构的网络中也能持续存在。
完成下面两步后,将自动完成登录并继续当前操作。