英伟达玩转剪枝、蒸馏：把Llama 3.1 8B参数减半，性能同尺寸更强
内容提要
Meta发布了Llama 3.1系列模型，包括最大的405B模型和两个较小的模型。然而，部署这些模型需要大量的计算资源。为了解决这个问题，Nvidia成功地将Llama 3.1 8B模型剪枝和蒸馏成Llama-3.1-Minitron 4B模型，其性能优于类似大小的开源模型。这种开发小型语言模型（SLM）的趋势旨在实现成本效益的部署。
延伸解读
剪枝与蒸馏：小模型的高效构建路径
英伟达通过结构化权重剪枝与知识蒸馏，将Llama 3.1 8B压缩为4B模型。剪枝删除层或神经元以减小规模，蒸馏则让剪枝后的小模型从原始大模型学习，恢复并提升性能。这种方法比从头训练更经济，且数据效率更高，为部署资源有限的场景提供了可行方案。
宽度剪枝优先：实践中的关键选择
英伟达的最佳实践表明，在15B参数以下模型中，宽度剪枝（减少注意力头和嵌入维度）通常优于深度剪枝（删除层）。宽度剪枝后，经过短暂再训练，其语言模型损失会低于深度剪枝，最终在基准测试中表现更好。这提示开发者在压缩模型时，可优先考虑宽度维度。
重要性评估：单次前向传播即可
剪枝前需评估各组件重要性。英伟达提出基于激活的纯重要性评估策略，仅需1024个样本的单次前向传播，即可同时计算深度、神经元、头和嵌入通道的重要性。相比依赖梯度的迭代方法，这种单次估计更简单、成本更低，且实证显示迭代不会带来额外收益。
推理性能：小模型的大幅提升
借助TensorRT-LLM优化，Llama-3.1-Minitron 4B在H100 GPU上吞吐量显著提高。深度剪枝变体平均吞吐量约为Llama 3.1 8B的2.7倍，宽度剪枝变体约为1.8倍。FP8精度部署还能再提升约1.3倍性能。这表明小模型不仅部署成本低，推理效率也更高。
Q&A
英伟达如何将Llama 3.1 8B模型转化为更小的模型？
英伟达通过剪枝和知识蒸馏将Llama 3.1 8B模型转化为Llama-3.1-Minitron 4B模型。
剪枝和蒸馏的主要目的是什么？
剪枝和蒸馏的主要目的是减小模型规模，同时提高模型的运行效率和准确性。
Llama-3.1-Minitron 4B模型的性能如何？
Llama-3.1-Minitron 4B模型在多个基准测试中表现优异，优于同类开源模型。
剪枝过程中需要注意哪些事项？
剪枝前需评估模型各部分的重要性，并优先进行宽度剪枝，使用单样本重要性估计。
什么是知识蒸馏，它是如何工作的？
知识蒸馏是将大型模型的知识迁移到小型模型的技术，旨在保留大模型的预测能力，同时提高效率。
英伟达在模型优化中使用了哪些工具？
英伟达利用TensorRT-LLM优化了模型推理性能，提高了Llama-3.1-Minitron 4B模型的吞吐量。
