从迭代修剪中学习有效的初始化修剪
内容提要
本文介绍了PruneTrain，一种通过结构化组套骨骼正则化和重新配置技术降低深度神经网络训练计算成本的方法。研究表明，该方法可减少计算成本40%和训练时间39%。同时，提出了迭代神经突触流剪枝算法（SynFlow），在无训练数据的情况下有效识别稀疏子网络。研究还探讨了剪枝对训练的影响及优化方法，提出双层优化的BiP模型修剪方法，显著提升了速度和效率。
延伸解读
剪枝时机：初始化剪枝的局限与突破
文章指出，在初始化阶段剪枝是可能的，但现有方法如SNIP、GraSP、SynFlow和magnitude pruning的表现不如训练后的magnitude pruning。这可能是因为这些方法的权重剪枝决策可以通过每层选择剪枝权重比例来替换，反映出底层剪枝启发式算法及初始化阶段进行剪枝的挑战。SynFlow在无训练数据下识别稀疏子网络，表现出与基于梯度的剪枝相当或更好的结果，但整体上初始化剪枝仍需进一步优化。
效率提升：PruneTrain与BiP的实用价值
PruneTrain通过结构化组套骨骼正则化和重新配置技术，在GPU加速器上高效处理缩小了的卷积神经网络模型，减少计算成本40%和训练时间39%。BiP基于双层优化，能像一级优化一样简单地解决大规模深度学习模型的修剪问题，在大多数情况下比传统迭代剪枝找到更好的中奖率，并在相同模型准确性和稀疏度下获得2-7倍的速度提升。这些方法为实际部署提供了显著的效率优势。
理论视角：损失面景观与彩票模型
研究从数据分布和损失面景观的角度，探讨了IMP预训练阶段如何为好的初始化做出贡献，发现在密集网络的损失面景观中更多的线性模式连接有利于IMP性能。彩票模型的存在考虑了深度学习中是否需要大型模型以及是否可以快速识别和训练稀疏网络，而无需训练包含它们的稠密模型。理论解释揭示了稀疏网络需要依赖于数据的遮罩来稳定插值噪声数据，并证实训练过程中获取的信息可以影响模型容量。
Q&A
PruneTrain是什么？
PruneTrain是一种通过结构化组套骨骼正则化和重新配置技术降低深度神经网络训练计算成本的方法，能够减少计算成本40%和训练时间39%。
迭代神经突触流剪枝算法（SynFlow）有什么特点？
SynFlow在无训练数据的情况下有效识别稀疏子网络，表现出与现有基于梯度的剪枝算法相当或更好的结果。
剪枝对神经网络训练的影响是什么？
研究表明，神经网络在初始化阶段进行剪枝是可能的，但现有方法的效果不如训练后的剪枝。
BiP模型修剪方法的优势是什么？
BiP模型修剪方法基于双层优化，能够在保持模型准确性和稀疏度的情况下，显著提升速度和效率，达到2-7倍的速度提升。
如何减少深度神经网络的训练时间和复杂度？
可以通过使用PruneTrain和适应性选择线性学习率表的初始值来减少网络的训练时间和复杂度。
现有剪枝方法的局限性是什么？
现有剪枝方法在初始化阶段的效果不如训练后的剪枝，主要是因为权重剪枝决策的选择和启发式算法的挑战。
