DεpS: 延迟 ε-收缩以加速全面训练
内容提要
本文介绍了一种基于一次训练（OFA）网络的方法，提出了动态可整合网络DS-Net，通过动态调整卷积滤波器数量提高硬件效率。实验结果显示，DS-Net在计算性能上优于ResNet-50和MobileNet。此外，提出了“网络瘦身”方案，通过通道级稀疏性简化深度卷积神经网络，降低计算成本而不影响准确度。
延伸解读
动态网络与硬件效率
DS-Net 通过测试时动态调整卷积滤波器数量，实现动态推理，从而提升硬件效率。实验表明，在 ImageNet 数据集上，其计算性能和实际加速性能均优于 ResNet-50 和 MobileNet。这种动态可整合的设计为边缘设备上的高效推理提供了新思路。
训练策略的优化
基于一次训练（OFA）网络的方法将训练和搜索分离，支持多种网络结构并快速选择，以减少计算成本。使用渐进式缩减算法进行高效训练，在边缘设备上表现优异且能源成本更低。此外，Random Subnet Sampling 方法比渐进式缩减产生更好的子网，同时降低高达 1.9 倍的训练时间。
模型压缩与加速技术
网络瘦身方案通过引入通道级稀疏性，简化深度卷积神经网络，降低计算成本和运行时内存占用，而不影响准确度。PruneTrain 则通过结构化组套骨骼正则化，在训练期间逐步减少计算成本，实现计算成本减少 40% 和训练时间减少 39% 的效果。这些技术共同推动了高效深度学习的发展。
Q&A
DS-Net的主要特点是什么？
DS-Net通过动态调整卷积滤波器数量，提高硬件效率，并具有动态推理能力。
如何通过网络瘦身方案降低计算成本？
网络瘦身方案通过引入通道级稀疏性，简化深度卷积神经网络，降低计算成本而不影响准确度。
DS-Net在计算性能上与哪些模型进行了比较？
DS-Net在ImageNet数据集上与ResNet-50和MobileNet模型进行了比较，表现出更高的计算性能。
什么是一次训练（OFA）网络？
一次训练（OFA）网络是一种支持多种网络结构并快速选择以减少计算成本的方法。
DS-Net的训练方案是怎样的？
DS-Net使用一种两阶段训练方案进行训练，以实现动态调整卷积滤波器的能力。
网络瘦身方案的实验结果如何？
实验结果表明，网络瘦身方案在各种图像分类数据集上具有较好的效果。
