通过级别观念理解深度学习
原文中文,约300字,阅读约需1分钟。发表于: 。通过研究深度学习的理论基础,该论文提出了等级的概念,探讨了常见的神经网络体系结构通过基于梯度的训练可以引发低等级的隐式正则化现象,从而帮助解释自然数据的泛化能力,进而将图神经网络与量子物理中的纠缠等级概念联系起来,阐述了理论对设计显式正则化方案和数据预处理算法的实际影响。
本文从动态系统的角度对深度学习中隐藏的正则化进行了理论分析,并研究了等效于深度卷积神经网络的分层张量因式分解模型中的隐藏正则化。最终证明了该模型会自动进行低阶张量秩的隐藏正则化,实现与卷积网络相应的局部性隐式正则化。通过理论分析神经网络的隐式正则化来增强其性能的潜力。