本文探讨了Key-Value缓存的低秩特性，提出多种压缩方法以降低大型语言模型的内存占用并提高推理吞吐量。通过SqueezeAttention和自适应KV缓存等技术，实验证明可实现30%至70%的内存减少和最高2.2倍的吞吐量提升，同时保持生成质量。

本研究提出了混合压缩模型LoRAP，增强了Transformer模型的低秩特性，并引入无梯度的结构化通道剪枝方法。通过结构修剪技术，成功将LLaMA2-7B模型压缩为1.3B和2.7B参数，并在多项任务中超越现有方法。研究还展示了自适应剪枝策略，显著减少参数和计算量，同时保持模型精度。

本研究提出了一种混合压缩模型LoRAP，通过输入激活加权奇异值分解方法和基于低秩度差异的参数分配方案，增强了Transformer模型中Multi-Head Self-Attention子层的低秩特性，并提出了无梯度的结构化通道剪枝方法用于Feed-Forward Network子层，实验证明我们的提议在多重压缩比下优于之前的结构化压缩方法。