研究发现,非常宽的神经网络在训练行为上只有一个自由度,选择学习率和初始权重大小等超参数时。宽网络可以以类似核机器的方式进行懒惰训练,也可以在μP区域表现出特征学习。这种丰富性尺度可能是发展深度神经网络特征学习的关键。
本文研究了非常宽的神经网络的理论分析,解释了训练宽网络的有效方法,并提供了实证证据。
完成下面两步后,将自动完成登录并继续当前操作。