该研究提出了一种新的剪枝方法——最优脑细胞凋亡(OBA),旨在解决卷积神经网络和变换器在计算效率和资源需求方面的挑战。通过计算参数的Hessian-向量乘积值,提升了剪枝的精确度,实验结果在多个数据集上表现优异。
本研究提出了一种名为PGB的剪枝方法,旨在解决大型预训练语言模型(如BERT)的推理速度和内存使用问题。PGB通过识别重要权重并剪除不重要权重,提高了模型的压缩效率和稀疏性,同时保持了准确性。
本研究提出了LightGNN框架,旨在解决图神经网络在处理大型和噪声数据集时的可扩展性和鲁棒性问题。通过基于蒸馏的剪枝方法,LightGNN显著降低了模型复杂性,并在计算效率和推荐准确性上取得了显著提升。
论文提出了一种名为MaskLLM的可学习半结构化剪枝方法,通过大规模数据集学习N:M掩码,以降低大型语言模型的计算开销。该方法支持跨任务的稀疏模式迁移学习,显著提升模型性能和训练效率。实验结果表明,MaskLLM在多个大型语言模型上表现优异。
该论文探讨了多种神经网络剪枝方法,包括基于剪枝算法的优化、动态结构修剪和层自适应权重剪枝。这些方法在保持模型准确率的同时,显著降低了计算和内存开销,提升了深度学习模型的性能和可解释性。实验结果表明,提出的方法在多个数据集上优于现有技术。
本文提出了一种针对PETL模型的剪枝方法SLS,通过特征级分析评估参数重要性,有效解决冗余参数问题。SLS在VTAB-1k基准测试中优于传统剪枝方法,提升了模型的存储效率和准确性,并动态识别冗余参数,确保剪枝过程不增加存储开销。
本文介绍了多种针对大型语言模型(LLMs)的剪枝方法,如LLM-Pruner、Wanda和GBLM-Pruner,强调在保持性能的同时实现模型压缩。这些方法在零样本分类和生成任务中表现优异,并提出了有效的剪枝策略和参数调整技巧,以提高模型的稀疏性和可解释性。
本文介绍了多种针对预训练语言模型(PLMs)的剪枝方法,如Static Model Pruning、PAT、LLM-Pruner、Wanda和GBLM-Pruner。这些方法通过结构修剪和稀疏性诱导,在无需微调的情况下显著提升了模型性能和参数效率,尤其在零样本分类和生成任务中表现突出。研究表明,稀疏微调方法在指令调整上优于传统微调技术,推动了大型语言模型的优化与应用。
该研究探讨了机器遗忘技术,提出通过模型稀疏化和剪枝方法提高遗忘性能的新方案。分析了现有机器去学习方法的优缺点,强调隐私问题及未来研究方向,旨在推动可信的机器学习能力发展。
该研究提出了一种结合“彩票票据假说”(LTH)与“知识蒸馏”(KD)的创新剪枝方法,旨在提高神经网络在边缘设备上的效率。通过三个剪枝模型,研究有效降低了功耗和模型维度,同时保持准确性。实验证明,该方法在GPU计算能力上实现了66.67%的降低,并首次将LTH和KD应用于推荐系统,提升了模型的公平性和性能。
本文探讨了多种针对视觉变换器(ViT)模型的压缩技术,重点在于提高计算效率和减少参数。提出了基于激活的结构化剪枝和自适应剪枝等方法,这些方法显著降低了模型参数和推理时间,同时保持了准确性,适用于移动设备和FPGA,推动了深度学习模型的高效应用。
本文介绍了一种基于准确性和稀疏性目标的深层网络动态构建算法,采用渐进式松弛和网络优化,训练出的网络在精度和规模上优于传统剪枝方法。此外,研究评估了多种稀疏性技术,并提出了新型剪枝方法,显著提升了模型性能和效率。
CoFi是一种新的剪枝方法,结合了粗细粒度模块的剪枝决策,并采用分层蒸馏策略将知识从未剪枝模型转移到已剪枝模型。实验表明,CoFi方法在GLUE和SQuAD数据集上具有更高的效率和效果,同时无需使用无标注数据。
完成下面两步后,将自动完成登录并继续当前操作。