小贡献,小网络:基于相对重要性的高效神经网络剪枝
原文中文,约300字,阅读约需1分钟。发表于: 。本研究解决了在资源受限设备上部署大型神经网络时面临的存储和计算挑战。我们提出了一种基于激活统计的直观剪枝方法,旨在通过识别和移除对神经元输出贡献最小的权重,显著降低模型的大小和复杂性。实验结果表明,所提方法在多个数据集和网络架构上优于多种基线和最先进的剪枝技术。
本文提出一种新方法,通过评估神经元对损失的贡献,逐步去除贡献小的神经元,从而减少计算、能量和内存成本。在ImageNet上,该方法与真实重要性相关性高达93%。在ResNet-101上,删除30%的参数可减少40%的FLOPs,准确率仅下降0.02%,优于现有技术。