BriefGPT - AI 论文速递
·
深度神经网络中适应层自适应权重剪枝的高效联合优化
内容提要
我们提出了一种新颖的层自适应权重剪枝方法，通过优化输出失真最小化并同时遵守目标剪枝比例约束，实现了对深度神经网络 (DNNs) 的优化。我们发现和利用了多个层的权重剪枝导致的输出失真具有非常重要的可加性特性，并基于此特性将剪枝问题建模为一个组合优化问题，并通过动态规划高效解决。在 ImageNet 和 CIFAR-10 数据集上的广泛实验证明了我们方法的优越性。在 CIFAR-10 上，我们的方法在 ResNet-32、VGG-16 和 DenseNet-121 的 top-1 准确率方面分别超过了其他方法 1.0%、0.5% 和 0.7%。在 ImageNet 上，我们的方法分别比其他方法提高了 VGG-16 和 ResNet-50 的 top-1 准确率高达 4.7% 和 4.6%。这些结果突出了我们的方法通过层自适应权重剪枝来提升 DNN 性能的效果和实用性。
关键要点
-
提出了一种新颖的层自适应权重剪枝方法。
-
通过优化输出失真最小化并遵守目标剪枝比例约束，实现深度神经网络的优化。
-
发现多个层的权重剪枝导致的输出失真具有可加性特性。
-
将剪枝问题建模为组合优化问题，并通过动态规划高效解决。
-
采用子问题分解方式，使问题具有线性时间复杂度，优化算法快速且适用于CPU运行。
-
在ImageNet和CIFAR-10数据集上的广泛实验证明了方法的优越性。
-
在CIFAR-10上，方法在ResNet-32、VGG-16和DenseNet-121的top-1准确率分别超过其他方法1.0%、0.5%和0.7%。
-
在ImageNet上，方法提高了VGG-16和ResNet-50的top-1准确率高达4.7%和4.6%。
-
结果突出了通过层自适应权重剪枝提升DNN性能的效果和实用性。
-
代码将在指定URL上提供。
