LoRAP：大型语言模型的 Transformer 子层应采用差异化结构压缩
原文中文，约300字，阅读约需1分钟。发表于：。本研究提出了一种混合压缩模型 LoRAP，通过输入激活加权奇异值分解方法和基于低秩度差异的参数分配方案，增强了 Transformer 模型中 Multi-Head Self-Attention 子层的低秩特性，并提出了无梯度的结构化通道剪枝方法用于 Feed-Forward Network 子层，实验证明我们的提议在多重压缩比下优于之前的结构化压缩方法。
本研究提出了一种混合压缩模型LoRAP，通过输入激活加权奇异值分解方法和基于低秩度差异的参数分配方案，增强了Transformer模型中Multi-Head Self-Attention子层的低秩特性，并提出了无梯度的结构化通道剪枝方法用于Feed-Forward Network子层，实验证明我们的提议在多重压缩比下优于之前的结构化压缩方法。
