本研究提出了一种混合压缩模型LoRAP，通过输入激活加权奇异值分解方法和基于低秩度差异的参数分配方案，增强了Transformer模型中Multi-Head Self-Attention子层的低秩特性，并提出了无梯度的结构化通道剪枝方法用于Feed-Forward Network子层，实验证明我们的提议在多重压缩比下优于之前的结构化压缩方法。