探测剪枝:通过模型探测实现大规模语言模型的动态加速剪枝

📝

内容提要

本研究解决了大规模语言模型在效率上的提升需求,提出了一种名为探测剪枝的动态剪枝框架。该框架通过探测每个批次的关键权重,实现对不同批次的定制化剪枝,显著提高了结构化剪枝的效率,且与现有模型兼容,具备较低的性能下降比和运行时间缩减。

🏷️

标签

➡️

继续阅读