本文介绍了多种基于优化的模型剪枝方法，包括 ALPS、LLM-Pruner 和 LoRAPrune，旨在提升大型语言模型的效率和性能。ALPS 在稀疏模型上显著降低困惑度，LLM-Pruner 通过结构修剪保持多任务能力，而 LoRAPrune 则通过迭代剪枝最大化性能。此外，TextPruner 和 FLAP 也展示了在不重新训练的情况下有效压缩模型的能力。

AdaGP 框架通过将全局修剪过程分解为可管理的子问题，显著提升了大型语言模型（LLMs）的性能。Compresso 成功将 LLaMA-7B 剪枝至 5.4B，并在多个基准测试中超越了原模型。新提出的剪枝方法和模型压缩技术，如 ZipLM 和 LLM-Pruner，均在保持性能的同时实现了高效压缩，适用于资源受限设备。