LLM-Barber:面向大型语言模型的单次稀疏掩膜块感知重建器
原文中文,约300字,阅读约需1分钟。发表于: 。本研究针对大型语言模型在训练后修剪中的不足,提出了一种名为LLM-Barber的创新框架,能够在不进行再训练的情况下,通过块感知错误优化有效重建稀疏掩膜。实验结果显示,LLM-Barber在单个A100 GPU上仅需30分钟即可对7B到13B参数的模型进行高效修剪,并在多个语言基准测试中实现了最先进的效果。
本文介绍了一种名为FinerCut的剪枝方法,可剪枝Transformer网络中的自注意力层和前馈神经网络层,实现模型精简、可解释、多任务的效果。FinerCut的效果更好,无需微调或后剪枝重建。该方法提供了可视化工具,为未来的语言模型设计提供了灵感。