超越2:4：在GPU上高效变换器推理的V:N:M稀疏性探索

BriefGPT - AI 论文速递 · 2024-10-21T00:00:00Z

研究分析了参数稀疏性对Transformer模型在大规模数据集扩展中的影响，涵盖视觉和语言领域。通过ViT/JFT-4B和T5/C4实验，探讨了权重稀疏性与训练数据量的关系，确定了最佳稀疏度，并发现其随数据量增加而增加。研究还分析了不同稀疏结构和策略，揭示了稀疏性的能力和局限性，为提升计算效率提供了理论和实践指导。