The Impact of Calibration Data on Pruning Large Language Models

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究探讨了校准数据对大型语言模型剪枝性能的影响,结果表明,校准数据的质量比剪枝策略更为重要,尤其在高稀疏率情况下。提出的自生成校准数据策略显著提升了剪枝效果。

🏷️

标签

➡️

继续阅读