MaxQ:用于 N:M 稀疏网络的多轴查询
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
本文介绍了Spatial Re-parameterization (SpRe)方法,用于在CNN中应用N:M稀疏性。该方法通过利用非结构化稀疏性的空间分布,在训练期间为N:M稀疏性模型分配额外的支路,以保持空间分布。在推理期间,该额外的支路可以重新参数化为主要的N:M支路,而不会增加计算成本。SpRe方法在各种基准测试中与最先进的非结构化稀疏性方法表现相当。
🎯
关键要点
-
提出了Spatial Re-parameterization (SpRe)方法,用于N:M稀疏性在CNN中的应用。
-
该方法在训练期间利用非结构化稀疏性的空间分布,为N:M稀疏性模型分配额外的支路。
-
在推理期间,额外的支路可以重新参数化为主要的N:M支路,且不增加计算成本。
-
SpRe方法在各种基准测试中表现与最先进的非结构化稀疏性方法相当。
➡️