TinySR是一种面向真实世界图像超分辨率的轻量级扩散模型，通过深度剪枝、动态块间激活和扩张-腐蚀策略，实现比教师模型快5.68倍、参数减少83%的加速。同时轻量化VAE，移除时间与提示模块并预缓存。实验显示其在保持画质的同时，推理速度和成本优势明显，适合移动端部署。

本文介绍了三种压缩大型语言模型的技术：量化、剪枝和知识蒸馏，它们能在不显著降低智能水平的前提下减小模型规模。这些技术可叠加使用，但各有取舍，如量化可能损失细微理解力，剪枝影响复杂逻辑，蒸馏可能缺乏原创性。选择哪种技术取决于模型的具体应用目标。

Qdrant与Minima联合优化智能体RAG，通过混合检索、重排序和模型压缩，将每GPU小时成功任务数从1081提升至3158，提升2.92倍。首轮检索成功率增至87%，上下文减少56%，延迟从21.3秒降至7.7秒，同时保持任务质量，显著降低推理成本。

知识蒸馏是一种训练小型模型模仿大型模型行为的方法，与模型压缩不同，它生成独立模型。通过软标签传递更多信息，学生模型能超越原始数据学习。主要方法包括输出蒸馏、特征蒸馏和合成数据蒸馏，其中合成数据蒸馏最常用。蒸馏在窄任务上表现优异，但受限于教师模型能力、容量差距和架构影响，且可能传递非预期特征。自动化蒸馏正减少人工干预。

该文章介绍PipeNetwork的kimi-k3-mlx项目，将Moonshot AI的2.8T参数MoE模型Kimi K3转换为苹果芯片MLX格式，通过流式转换和REAP剪枝技术删除73%专家，将模型从1.6TB压缩至350GB，使Mac Studio等大内存设备能本地运行，展示了巨型模型个人化的工程路径。

Unsloth团队将Kimi K3模型从1.56TB压缩至594GB，体积缩小近三倍，最小版本保留78.9%准确率。量化技术降低参数存储位数，使顶级模型可在个人电脑运行。文章还讨论剪枝技术、显存焦虑及低成本部署梦想，推动压缩技术发展，让AI从奢侈品变为消费品。

开源社区通过REAP修剪专家、GGUF量化、混合精度等技术，将7530亿参数的GLM-5.2模型压缩至消费级硬件可运行，体积削减80%，成本从7万美元降至1.5万美元，智商保留82%。KV缓存优化提升上下文至74万token，Moet方案实现2位权重运行。开源创新推动AI模型个人化，挑战高价硬件垄断。

滑铁卢大学的实习生Joshua Hill在三个月内开发出一种新型量化算法，显著提升了大模型的压缩效率和性能，超越了英伟达的ModelOpt。该算法通过全局优化模型层的依赖关系，缩短搜索时间，提高压缩率，解决了量化中的信息损失问题。这一突破将降低AI服务成本，提高用户体验，推动行业进步。

麻省理工学院等研究团队开发的CompreSSM方法在训练过程中压缩人工智能模型，避免了传统方法的性能损失。该方法通过控制理论识别模型的重要部分，提前剔除无用组件，使模型训练更小更快。研究显示，压缩模型在图像分类任务中保持了接近原始模型的准确性，训练速度提高了1.5倍。CompreSSM为现代状态空间模型的压缩提供了理论基础，未来有望成为标准方法。

智谱GLM-5模型已从1.65TB压缩至241GB，需256GB内存即可本地运行，支持256GB统一内存的Mac或24GB显存的PC。该模型在编码和聊天方面表现优异，提供更大的上下文窗口。

Skip 是一款用于简化 iOS 和 Android 应用开发的转译器，支持多模块管理，并与 Xcode 和 Android Studio 集成。Efficient-Computing 提供高效计算方法，支持模型压缩和自监督学习。nodejieba 是高效的中文分词库，支持多种算法。

马克·库尔茨讨论了大规模生成AI的现状与挑战，强调大语言模型（LLMs）在文本生成中的应用及其对企业的影响。他指出，尽管许多公司在探索LLMs，但只有少数原型能投入生产。通过使用vLLM等优化工具和模型压缩，企业可以降低成本并提高效率。成功部署依赖于准确性、速度和成本的平衡。

苹果研究人员的论文指出，少量“超级权重”在大型语言模型（LLM）中对功能影响显著。识别这些权重有助于模型压缩，提升资源受限设备的性能。研究表明，保留超级权重和激活可显著改善压缩质量，推动未来研究。

深度学习模型参数不断增加，需要有效的压缩技术以适应资源有限的设备。本文探讨信息几何在模型压缩中的应用，重点分析操作因子分解。我们认为，许多成功的压缩方法隐含近似信息散度。在压缩预训练模型时，信息散度对提高零-shot准确率至关重要，而在微调时，模型的可训练性更为重要。我们证明了在软秩约束下，迭代奇异值阈值化的收敛性，并展示了通过软秩降低对现有方法的简单修改可以在固定压缩率下提高性能。