本文研究了前馈神经网络的复杂性，发现通过利用排列不变性可以降低神经网络的复杂性，适当的随机参数初始化策略可以增加优化收敛的概率，过度参数化的网络更容易训练，但增加神经网络的宽度会导致有效参数空间体积的消失。这些发现对深度学习中的一般化和优化有重要的影响。