神经网络和人类中的最优恒定解的早期学习
原文中文，约600字，阅读约需2分钟。发表于：。在这篇研究中，我们展示了实证和理论上的结果，证明深度神经网络在学习目标函数之前存在一个早期阶段，其中网络学习最佳常数解（OCS），即初始模型的响应与目标标签的分布相匹配，完全忽略输入中提供的信息。通过使用分层类别学习任务，我们推导出具有偏移项训练的深度线性网络学习动力学的精确解。即使初始化为零，这个简单的结构特征也会引起早期动力学的显著变化。我们确定了这个早期 OCS...
这项研究揭示了深度神经网络在学习目标函数之前存在一个早期阶段，即初始模型的响应与目标标签的分布相匹配。研究通过实验证明了这个早期阶段的特征，并在人类学习者中也发现了对这个阶段的依赖。研究表明这是一种普遍存在的学习原则。
