针对 GPU 上的分层 N:M 稀疏置换的高效实现
内容提要
本文介绍了深度学习中的稀疏性技术，包括Spatial Re-parameterization (SpRe)方法和E-Sparse算法，旨在提高模型的计算效率和准确性。这些方法显著加速模型推理，减少内存占用，同时保持与非结构化稀疏性相当的性能。
延伸解读
N:M稀疏性的硬件加速与SpRe方法
N:M稀疏性利用NVIDIA Sparse Tensor Cores实现硬件加速，但训练时难以维持非结构化稀疏性的空间分布。SpRe方法在训练期间为N:M模型分配额外支路，利用非结构化稀疏性的空间分布，推理时重新参数化，不增加计算成本。该方法在基准测试中匹配非结构化稀疏性表现，为CNN中的N:M稀疏性应用提供了有效方案。
E-Sparse：基于信息熵的大语言模型稀疏化
传统修剪方法在大语言模型中因训练成本高而难以应用。E-Sparse首次引入隐藏状态特征的信息熵作为修剪度量，优化N:M稀疏性准确性。通过FasterTransformer实现为Sparse-GEMM，在NVIDIA Ampere GPU上运行，对LLaMA和OPT模型的实验表明，推理加速高达1.53倍，内存节省高达43.52%，且准确性损失可接受。
稀疏训练中的精度与计算成本权衡
基于衰减的修剪方法（修剪掩码衰减和稀疏结构衰减）在保持与非结构化稀疏性相当的模型精度同时，仅增加较小的训练计算量。此外，限制梯度传递可减少梯度噪声，改善高稀疏度区域视觉和语言模型的性能。这些方法为平衡模型精度与训练成本提供了实用策略。
Q&A
什么是Spatial Re-parameterization (SpRe)方法？
SpRe方法用于CNN中的N:M稀疏性应用，通过在训练期间利用非结构化稀疏性的空间稀疏性分布，为N:M稀疏性模型分配额外支路，推理期间可重新参数化。
E-Sparse算法如何优化大型语言模型的稀疏性？
E-Sparse算法通过信息熵优化N:M稀疏性，显著加速模型推理并节省内存，同时保持可接受的准确性损失。
V:N:M格式在稀疏计算中有什么优势？
V:N:M格式允许在NVIDIA的Sparse Tensor Cores上执行任意N:M比例的稀疏化计算，实现高达37倍的加速。
如何降低深度神经网络的内存占用？
通过引入新的掩码多样性度量方法和可转置细粒度稀疏掩码，可以有效降低DNN的内存占用。
什么是GE-SpMM方法，它的应用效果如何？
GE-SpMM方法支持高通用性的稀疏矩阵加速操作，在真实图像数据集上实现高达1.41倍和1.81倍的加速。
稀疏化对深度学习模型的影响是什么？
稀疏化可以使模型更小、计算效率更高，并加速硬件的应用，同时保持模型的准确性。
