MaxQ:用于 N:M 稀疏网络的多轴查询
原文中文,约300字,阅读约需1分钟。发表于: 。本文提出了一种高效有效的多轴查询方法 MaxQ,通过动态生成软性 N:M 掩码来考虑多个轴上的权重重要性,从而解决现有 N:M 稀疏性方法中对权重相对重要性的不区分以及对整个网络直接应用 N:M 稀疏性造成的信息丢失问题。实验结果表明,在各种计算机视觉任务中,包括图像分类、目标检测和实例分割中,MaxQ 在不同 CNN 架构上都取得了一致的改进效果。
本文介绍了Spatial Re-parameterization (SpRe)方法,用于在CNN中应用N:M稀疏性。该方法通过利用非结构化稀疏性的空间分布,在训练期间为N:M稀疏性模型分配额外的支路,以保持空间分布。在推理期间,该额外的支路可以重新参数化为主要的N:M支路,而不会增加计算成本。SpRe方法在各种基准测试中与最先进的非结构化稀疏性方法表现相当。