本文探讨了Key-Value缓存的低秩特性，提出多种压缩方法以降低大型语言模型的内存占用并提高推理吞吐量。通过SqueezeAttention和自适应KV缓存等技术，实验证明可实现30%至70%的内存减少和最高2.2倍的吞吐量提升，同时保持生成质量。

本研究提出了混合压缩模型LoRAP，增强了Transformer模型的低秩特性，并引入无梯度的结构化通道剪枝方法。通过结构修剪技术，成功将LLaMA2-7B模型压缩为1.3B和2.7B参数，并在多项任务中超越现有方法。研究还展示了自适应剪枝策略，显著减少参数和计算量，同时保持模型精度。