STUN：结构化先行后非结构化的可扩展MoE剪枝
内容提要
该研究探讨了通过结构化剪枝技术提高大型语言模型的压缩效果和推理速度。采用稀疏剪枝方法，实验表明可实现20倍的参数压缩而不损失性能。此外，提出了无标签数据的剪枝框架和新型BlockPruner方法，显著提升了模型的部署效率和任务性能。
延伸解读
从结构化剪枝到MoE剪枝的技术演进
文章梳理了剪枝技术从2019年到2024年的发展脉络：早期聚焦于BERT等模型的结构化剪枝，通过低秩分解和稀疏剪枝实现压缩；随后扩展到多语言模型和无标签数据框架；近期则针对MoE架构，提出专家级稀疏化、BlockPruner和EEP等方法。这一演进反映了剪枝技术从通用模型向特定架构（如MoE）的深化，以及从依赖标签到无标签、无需训练的趋势。
MoE剪枝的核心挑战与解决思路
MoE架构通过增加参数但仅激活部分专家来提升性能，然而专家数量增多导致内存消耗大，部署困难。文章指出，一些专家在预训练中编码了冗余知识，因此可通过分组相似专家并修剪来提高参数效率。针对Mixtral-8x7B和8x22B的实验表明，该方法在多种自然语言任务上优于其他剪枝方法，同时发布了代码和修剪后的模型，便于后续研究。
剪枝方法的性能与效率权衡
文章提到，稀疏剪枝相比通道与层数压缩效果更显著，可实现20倍参数/FLOPs压缩而不明显损失性能。此外，Compresso将LLaMA-7B剪枝至5.4B，在阅读理解等任务上超过原模型；GBLM-Pruner利用卡尔曼几何胜过幅度修剪等方法。这些结果说明，合理的剪枝能在压缩模型的同时保持甚至提升任务表现，但不同方法在压缩率、训练成本和适用场景上各有侧重。
Q&A
什么是结构化剪枝技术？
结构化剪枝技术通过低秩分解参数化权重矩阵，自适应地移除冗余分量，以提高大型语言模型的压缩效果和推理速度。
稀疏剪枝技术的效果如何？
稀疏剪枝技术可以实现20倍的参数压缩，而不会明显损失模型性能。
BlockPruner方法的优势是什么？
BlockPruner方法通过定位冗余，实现更精细的修剪，显著提升了模型的部署效率和任务性能。
如何提高大型语言模型的推理效率？
通过基于无标签数据的剪枝框架，可以显著减少计算成本，从而提高大型语言模型的推理效率。
插拔式专家级稀疏化技术的目的是什么？
插拔式专家级稀疏化技术旨在改善MoE LLMs的部署效率，同时保持满意的性能。
该研究对多语言预训练模型的贡献是什么？
该研究填补了关于多语言预训练模型上的结构化剪枝研究的空白，并为未来的研究提供了启示。
