Split to Be Slim: 论文复现
💡
原文中文，约7500字，阅读约需18分钟。
📝
内容提要
该文介绍了一种基于分割的卷积操作SPConv，用于解决特征图中的模式冗余问题。SPConv将输入特征图分为Representative部分和Uncertain冗余部分，通过相对繁重的计算从代表性部分中提取内在信息，而对不确定冗余部分中的微小隐藏细节进行一些轻量级处理手术。作者还提出了一个无参数特征融合模块来重新校准和融合这两组处理过的特征。消融实验结果表明，配备SPConv的网络在GPU上的准确性和推理时间上始终优于最先进的基线，FLOPs和参数急剧下降。该方法可以轻易与其他网络架构相结合，同时与当前主流模型压缩方法互补，有可能得到更轻量型的模型。
🎯
关键要点
- SPConv是一种基于分割的卷积操作，用于解决特征图中的模式冗余问题。
- SPConv将输入特征图分为代表性部分和不确定冗余部分，分别进行不同的处理。
- 无参数特征融合模块用于重新校准和融合处理后的特征。
- 配备SPConv的网络在GPU上的准确性和推理时间优于最先进的基线，FLOPs和参数显著减少。
- 特征冗余问题导致无法直接剔除冗余通道特征，需选择有代表性的特征图。
- SPConv通过将输入特征拆分为代表性部分和不确定部分来减少冗余。
- 在代表性部分使用组卷积进一步减少冗余，并通过逐点卷积弥补信息丢失。
- 消融实验验证了SPConv的有效性，尽管在某些情况下精度下降。
- SPConv是一种即插即用的单元，能够与其他网络架构结合，可能实现更轻量型的模型。
➡️
