MaxQ:用于 N:M 稀疏网络的多轴查询

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本文介绍了Spatial Re-parameterization (SpRe)方法,用于在CNN中应用N:M稀疏性。该方法通过利用非结构化稀疏性的空间分布,在训练期间为N:M稀疏性模型分配额外的支路,以保持空间分布。在推理期间,该额外的支路可以重新参数化为主要的N:M支路,而不会增加计算成本。SpRe方法在各种基准测试中与最先进的非结构化稀疏性方法表现相当。

🎯

关键要点

  • 提出了Spatial Re-parameterization (SpRe)方法,用于N:M稀疏性在CNN中的应用。

  • 该方法在训练期间利用非结构化稀疏性的空间分布,为N:M稀疏性模型分配额外的支路。

  • 在推理期间,额外的支路可以重新参数化为主要的N:M支路,且不增加计算成本。

  • SpRe方法在各种基准测试中表现与最先进的非结构化稀疏性方法相当。

➡️

继续阅读