本文介绍了三种压缩大型语言模型的技术：量化、剪枝和知识蒸馏，它们能在不显著降低智能水平的前提下减小模型规模。这些技术可叠加使用，但各有取舍，如量化可能损失细微理解力，剪枝影响复杂逻辑，蒸馏可能缺乏原创性。选择哪种技术取决于模型的具体应用目标。

本文提出一种集成式“扩大-剪枝”流水线，用于生成式语言模型预训练。该方法将扩大模型训练、剪枝和恢复整合到单一余弦退火学习率计划中，并引入迭代结构化剪枝，以缓解知识损失并优化神经元容量分配。实验表明，在将2.8B模型压缩至1.3B（预训练达2T tokens）时，该方法提升了剪枝模型的性能，并揭示了扩大预训练的token效率优势。

中科院团队提出GMC核心集剪枝方法，解决视觉语言模型Token冗余问题。该方法免训练，通过互补证据筛选和群体信息传输，保留关键视觉信息，减少80%以上Token，性能保持99%以上，并抑制幻觉，兼容Qwen、LLaVA等模型，提升推理速度，降低显存占用。

该文章介绍PipeNetwork的kimi-k3-mlx项目，将Moonshot AI的2.8T参数MoE模型Kimi K3转换为苹果芯片MLX格式，通过流式转换和REAP剪枝技术删除73%专家，将模型从1.6TB压缩至350GB，使Mac Studio等大内存设备能本地运行，展示了巨型模型个人化的工程路径。

Unsloth团队将Kimi K3模型从1.56TB压缩至594GB，体积缩小近三倍，最小版本保留78.9%准确率。量化技术降低参数存储位数，使顶级模型可在个人电脑运行。文章还讨论剪枝技术、显存焦虑及低成本部署梦想，推动压缩技术发展，让AI从奢侈品变为消费品。

文章介绍了Fortress框架，该框架通过识别和去除导致预测不稳定的特征，提升搜索推荐系统的稳定性和准确性。利用历史快照数据，经过四个步骤处理不稳定预测，最终在大型应用市场的模型中验证了其有效性，显著提高了预测稳定性和分类性能。

DenoiseRotator是一种新型的大模型剪枝技术，通过“重要性浓缩”优化参数分布，增强剪枝的鲁棒性并减少性能损失。该方法与现有剪枝算法兼容，已在NeurIPS会议上发表，适用于大规模语言模型的高效压缩。

随着大型语言模型的发展，本文提出了一种动态剪枝方法——指令跟随剪枝，能够根据用户指令动态选择模型参数。该方法通过优化稀疏掩码预测器和LLM，显著提升了推理效率和性能，实验结果在多个评估基准上表现优异。

本文探讨了优化语言模型大小的策略，包括模型蒸馏、剪枝、层减少和模块化适应。蒸馏通过教师-学生模型训练小型模型，剪枝移除贡献最小的权重，层减少通过减少网络层数提高效率，模块化方法如LoRA简化模型适应。此外，权重级优化技术如量化和权重共享也被提及，以提高推理速度和减少内存占用。

厦门大学研究团队提出新算法CPPO（完成剪枝策略优化），旨在加速GRPO（组相对策略优化）训练。CPPO通过剪枝低优势的完成结果，减少计算量，提高训练效率。实验表明，CPPO在保持准确度的同时，训练速度比GRPO快8.32倍，具有良好的稳定性和收敛性，适合大规模推理模型训练。