BriefGPT - AI 论文速递
·
VENOM：一种向量化的 N:M 格式，释放稀疏张量核心的能量
原文中文，约400字，阅读约需1分钟。
📝
内容提要
本文介绍了一种新的稀疏化格式 V:N:M，可在 NVIDIA 的 Sparse Tensor Cores 上执行任意 N:M 比例的稀疏化计算，并通过高性能稀疏库 Spatha 实现了高达 37 倍的加速。该技术可在现代 transformers 中实现高稀疏度而几乎不降低准确性的二阶裁剪技术。
🎯
关键要点
-
深度学习模型对计算效率和功耗提出了更高的要求。
-
稀疏化可以使模型更小、提高计算效率。
-
提出了一种新的稀疏化格式 V:N:M。
-
该格式可在 NVIDIA 的 Sparse Tensor Cores 上执行任意 N:M 比例的稀疏化计算。
-
通过高性能稀疏库 Spatha 实现了高达 37 倍的加速。
-
在现代 transformers 中实现高稀疏度，几乎不降低准确性的二阶裁剪技术。
🏷️
