💡
原文中文，约4800字，阅读约需12分钟。
📝
内容提要
Meta发布了Llama 3.1系列模型，包括最大的405B模型和两个较小的模型。然而，部署这些模型需要大量的计算资源。为了解决这个问题，Nvidia成功地将Llama 3.1 8B模型剪枝和蒸馏成Llama-3.1-Minitron 4B模型，其性能优于类似大小的开源模型。这种开发小型语言模型（SLM）的趋势旨在实现成本效益的部署。
🎯
关键要点
- Meta发布了Llama 3.1系列模型，包括405B、70B和8B模型。
- Llama 3.1模型需要大量计算资源进行部署。
- 业界趋势转向开发小型语言模型（SLM），以实现成本效益的部署。
- Nvidia通过剪枝和蒸馏将Llama 3.1 8B模型转化为Llama-3.1-Minitron 4B模型，性能优于同类开源模型。
- 剪枝通过删除层或神经元来减小模型规模，通常需要再训练以恢复准确率。
- 模型蒸馏是将知识从大型模型迁移到小型模型的技术，旨在提高效率。
- Nvidia采用剪枝与经典知识蒸馏相结合的方法构建小型模型。
- 剪枝前需评估模型各部分的重要性，Nvidia提出基于激活的纯重要性评估策略。
- 最佳实践包括优先进行宽度剪枝，使用单样本重要性估计，和仅使用蒸馏损失进行再训练。
- Llama-3.1-Minitron 4B模型在多个基准测试中表现优异，成为可靠的指令模型。
- Nvidia利用TensorRT-LLM优化了模型推理性能，Llama-3.1-Minitron 4B模型的吞吐量显著提高。
- 剪枝和知识蒸馏是一种经济高效的方法，能够获得更小尺寸的LLM，且准确性更高。
➡️
