基于样本感知的自适应结构化剪枝用于大型语言模型

本研究解决了现有结构化剪枝方法中随机选择校准数据和固定单一重要性评估指标导致剪枝模型性能下降的问题。提出的AdaPruner框架通过构建结构化剪枝解空间，并采用贝叶斯优化自适应搜索最佳的校准数据和重要性评估指标，从而有效去除大型语言模型中的冗余参数。实验结果表明，AdaPruner在多个大型语言模型上有效提升了剪枝性能，在20\%的剪枝比率下，模型性能维持在97\%，展示了其适用性和鲁棒性。