NASH: 一个简单统一的结构剪枝加速编码 - 解码语言模型框架
原文中文,约300字,阅读约需1分钟。发表于: 。通过研究解耦编码器和解码器组件的结构修剪方法在编码器 - 解码器模型上的行为,本研究发现解码器层数是推理速度的主要因素,修剪编码器网络得到低稀疏度可以提高生成质量。基于这些发现,提出了一种简单而有效的框架 NASH,可以缩短编码器和解码器网络,对于多样化的生成和推理任务实验证实了我们方法在加速和输出质量上的有效性。
该研究提出了基于Transformer的语音识别神经网络语言模型的模型修剪方法,包括准则、方法和调度器,并提出了适用于渐进式压缩模型的低秩逼近的变体。数据驱动的修剪效果优于基于幅度的修剪,渐进式修剪比一次性修剪表现更好,低秩逼近提供了尺寸减小和推理加速之间的最佳平衡。