超参数化是深度学习成功的关键因素之一，过参数化网络在性能方面优于欠参数化网络，即使连接了许多欠参数化特征。验证和玩具场景证明了过参数化网络可以学习一些欠参数化网络无法学习的重要特征。

本文研究了使用n个神经元的神经网络逼近具有一层隐藏神经元和k个神经元的神经网络的问题，提供了对传统激活函数的非平凡临界点的闭式解，并发现欠参数化网络的最优解具有普遍结构。