本研究探讨了稀疏训练在神经网络中的应用，提出了随机剪枝和稀疏超网络等方法，显著提升了模型性能。实验结果表明，这些方法在多个数据集上表现优异，达到了先进的分类和泛化效果。

本文提出了一种利用稀疏超网络和稀疏性约束实现自动混合路径搜索的新的连续架构表示方法。采用分层加速的近端梯度算法来优化稀疏超网络。实验表明，该方法能够搜索到紧凑、通用和强大的神经结构。