美团技术团队
·
大模型剪枝新范式：先浓缩，再剪枝——DenoiseRotator技术解读
内容提要
DenoiseRotator是一种新型的大模型剪枝技术，通过“重要性浓缩”优化参数分布，增强剪枝的鲁棒性并减少性能损失。该方法与现有剪枝算法兼容，已在NeurIPS会议上发表，适用于大规模语言模型的高效压缩。
关键要点
-
DenoiseRotator是一种新型的大模型剪枝技术，通过重要性浓缩优化参数分布。
-
该方法增强剪枝的鲁棒性并减少性能损失，适用于大规模语言模型的高效压缩。
-
传统剪枝方法存在性能损失的问题，尤其在稀疏推理场景下更为明显。
-
DenoiseRotator通过对参数矩阵进行变换，实现重要性集中，提升剪枝效果。
-
该技术与现有剪枝算法兼容，已在2025年NeurIPS会议上发表。
-
DenoiseRotator的核心思想是通过信息熵来量化和优化重要性浓缩效果。
-
该方法采用可学习的正交变换，确保模型输出不变的同时重新分配参数重要性。
-
实验结果显示，DenoiseRotator在语言建模和零样本推理任务中显著提升性能。
-
该方法的参数增量小，推理耗时增加有限，适合资源受限场景。
-
DenoiseRotator为大规模语言模型的高效压缩提供了新的技术路径。
延伸问答
DenoiseRotator技术的核心思想是什么？
DenoiseRotator的核心思想是通过重要性浓缩，将参数的重要性集中到较小的参数子集中，以增强剪枝的鲁棒性。
DenoiseRotator如何解决传统剪枝方法的性能损失问题？
DenoiseRotator通过先进行重要性浓缩，减少被移除权重所包含的关键信息，从而显著增强剪枝的鲁棒性，降低性能损失。
DenoiseRotator的实现机制是什么？
DenoiseRotator通过引入可学习的正交矩阵，对参数进行旋转变换，重新分配参数的重要性，同时保持模型输出不变。
DenoiseRotator在实验中表现如何？
实验结果显示，DenoiseRotator在语言建模和零样本推理任务中显著提升性能，尤其在2:4稀疏模式下效果更为明显。
DenoiseRotator的参数增量和推理耗时如何？
DenoiseRotator每层新增的正交矩阵使总参数量增加约0.5B，推理耗时仅增加0.32ms，适合资源受限场景。
DenoiseRotator与现有剪枝算法的兼容性如何？
DenoiseRotator能够与现有的剪枝算法快速集成，提供即插即用的特性，便于后续操作。
