超越大小:梯度如何塑造大型语言模型的剪枝决策
原文中文,约200字,阅读约需1分钟。发表于: 。预训练的大型语言模型的梯度为基础的模型修剪器(GBLM-Pruner)通过利用卡尔曼几何中的几何相互关联性明显胜过其他竞争对手,并在各种语言评估中超过了幅度修剪、Wanda 和 SparseGPT。
该文章介绍了一种利用结构修剪技术从大型语言模型生成更小但功能强大的语言模型的方法。通过 Sheared-LLaMA 系列,成功将 LLaMA2-7B 模型修剪为 1.3B 和 2.7B 参数,优于等规模的开源模型,并提供了使用结构修剪来构建更小型语言模型更具成本效益的佐证。