超越2:4：在GPU上高效变换器推理的V:N:M稀疏性探索
原文中文，约400字，阅读约需1分钟。发表于：。本研究针对现有2:4稀疏模式在GPU推理中低加速效益及固定稀疏比的问题，探索了V:N:M稀疏性的应用。通过提出启发式的V和M选择、特定通道置换和三阶段LoRA训练技术，提高了V:N:M稀疏变换器的适用性和准确性。实验结果表明，V:N:M稀疏变换器能够在低的稀疏比下实现无损准确性，并在速度-准确性权衡上优于2:4稀疏性，为成本敏感的推理场景提供了有效的加速解决方案。
研究分析了参数稀疏性对Transformer模型在大规模数据集扩展中的影响，涵盖视觉和语言领域。通过ViT/JFT-4B和T5/C4实验，探讨了权重稀疏性与训练数据量的关系，确定了最佳稀疏度，并发现其随数据量增加而增加。研究还分析了不同稀疏结构和策略，揭示了稀疏性的能力和局限性，为提升计算效率提供了理论和实践指导。
