深度线性网络中甚至存在关键学习阶段
原文中文，约500字，阅读约需2分钟。发表于：。临界学习期是指在发育的早期阶段，暂时的感觉缺陷可能对行为和学到的表示产生永久影响，无论是在生物网络还是人工网络中都有实验证明了临界学习期的存在，这表明临界学习期可能对学习具有基础性的作用。然而，为什么深度网络中会出现临界学习期仍然是一个未解的问题，尤其是尚不清楚两种系统中观察到的临界学习期是否依赖于特定的架构或优化细节。为了分离出潜在的关键因素，我们着重研究深度线性网络模型，并展示了一些意外...
临界学习期可能对行为和学习产生永久影响，深度网络中也存在临界学习期，特征学习与来源之间存在竞争关系，预训练可能损害新任务的转移性能，这是第一个解析处理临界学习期的模型。
