自扩展卷积神经网络
内容提要
本文综述动态神经网络研究，涵盖多种提升网络自适应性与效率的方法：提出使卷积层在动态环境中演化并融入现有DNN的新算法；利用自然梯度动态扩展网络宽度与深度，并提出自动收缩方法；DEN可动态决定网络容量、共享任务知识并防止语义漂移；ExpandNet通过过参数化训练紧凑网络；SiCNN以多列结构应对尺度变化；自适应分层网络随新数据增长；新方法可预测无效层并优化参数效率；低复杂度CNN模块提升性能；增量训练将网络分块逐步合并；低秩滤波器基加速卷积层。
延伸解读
动态扩展与收缩：网络结构的自适应调整
文章综述了多种动态调整网络结构的方法。自然梯度法可动态扩展宽度和深度以降低训练损失，同时提出自动收缩方法应对架构尺寸不确定的问题。DEN则在学习系列任务时动态决定容量，共享重叠知识并防止语义漂移。这些方法共同指向一个趋势：网络结构不再固定，而是根据数据或任务需求自适应变化，以平衡容量与效率。
过参数化训练与紧凑推理的折中
ExpandNet通过将紧凑网络的线性层扩展为多个连续线性层（不添加非线性）进行过参数化训练，推理时再代数地缩回紧凑结构。实验表明，该方法在图像分类、检测和分割任务上优于从头训练紧凑网络和知识蒸馏，并能减少梯度混淆、提升泛化。这提示过参数化可作为训练手段，而推理时仍保持紧凑，实现性能与效率的兼顾。
效率优化：从接受野分析到低秩加速
文章介绍了多种提升参数和计算效率的方法。新方法可在训练前预测无效层并优化参数效率，在VGGNets、MobileNet系列、EfficientNet和ConvNeXt等架构上削减参数，并在ImageNet1K上取得更好结果。低秩滤波器基利用交叉通道或过滤器冗余加速卷积层，在实际网络中实现2.5倍加速且不降精度，精度下降不到1%时可达4.5倍加速。这些方法从不同角度减少冗余，提升推理效率。
Q&A
动态扩展神经网络宽度和深度的方法是什么？
通过自然梯度的方法动态扩展神经网络的宽度和深度，以降低训练过程中的损失。同时针对不确定合适网络架构尺寸的问题，提出了一种自动收缩神经网络的方法。
DEN网络如何防止语义漂移？
DEN通过选择性重新训练、动态扩展网络容量和时间戳来有效防止语义漂移，并在学习一系列任务时动态决定网络容量，学习任务之间的重叠知识共享结构。
ExpandNet如何用过度参数化训练紧凑网络？
ExpandNet将紧凑型神经网络的线性层扩展成多个连续的线性层（不添加非线性化），形成扩展网络进行训练，推理时可代数地缩小回紧凑型网络。该方法在图像分类、目标检测和语义分割任务上优于从头训练紧凑网络和知识蒸馏，并能减少梯度混淆、提高泛化能力。
SiCNN如何处理尺度变化问题？
SiCNN采用多列结构，每一列专注于特定尺度，并用尺度变换共享相同的滤波器参数，从而应对尺度变化。实验表明SiCNN能检测各种尺度的特征，分类结果对物体尺度变化具有强大鲁棒性。
有哪些方法可以加速卷积层或提升参数效率？
有两种简单方案利用交叉通道或过滤器冗余构建低秩滤波器基，显著加速卷积层，在实际网络中实现2.5倍加速（不降精度）和4.5倍加速（精度下降不到1%）。此外，一种分析接受野扩展的新方法可在训练前预测无效图层并优化参数效率，在VGGNets、MobileNetV1/V3、NASNet A（mobile）、MnasNet、EfficientNet和ConvNeXt等架构上削减参数，并在ImageNet1K上取得新的最好结果。
增量训练方法如何将网络分块逐步合并？
增量训练方法将原始网络分成子网络，并在训练过程中逐步将其合并到运行的网络中。该方法通过引入前瞻初始化使网络动态生长更平滑，并可用于仅使用全局参数分数的情况下识别原始最先进网络的较小分区，以实现更快的训练。在CIFAR-10上报告了ResNet和VGGNet的训练结果。
