本研究分析了负边际感知机和无限宽二层神经网络这两类连续非凸权重模型在存储随机模式-标签关联中的表现。结果表明,负感知机模型中存在相位分隔线,显示出基于近似消息传递的算法假设存在普遍性问题,且梯度下降方法无法实现最大容量。
神经正切核(NTK)由Jacot等人提出,用于解释神经网络经梯度下降训练时的演化。其核心结论是:当网络宽度趋于无穷时,NTK在初始化时收敛为确定性核,并在训练中保持不变,使无限宽网络等价于线性模型,从而保证收敛到全局最优。文章还介绍了NTK与高斯过程、惰性训练的联系。
完成下面两步后,将自动完成登录并继续当前操作。