小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

该研究提出了一种新的剪枝方法——最优脑细胞凋亡(OBA),旨在解决卷积神经网络和变换器在计算效率和资源需求方面的挑战。通过计算参数的Hessian-向量乘积值,提升了剪枝的精确度,实验结果在多个数据集上表现优异。

最优脑细胞凋亡

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-25T00:00:00Z

本研究提出了一种名为PGB的剪枝方法,旨在解决大型预训练语言模型(如BERT)的推理速度和内存使用问题。PGB通过识别重要权重并剪除不重要权重,提高了模型的压缩效率和稀疏性,同时保持了准确性。

One-shot Pruning of BERT through Weight Grouping and Arrangement

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-06T00:00:00Z

本研究提出了LightGNN框架,旨在解决图神经网络在处理大型和噪声数据集时的可扩展性和鲁棒性问题。通过基于蒸馏的剪枝方法,LightGNN显著降低了模型复杂性,并在计算效率和推荐准确性上取得了显著提升。

LightGNN: A Simple Graph Neural Network for Recommendation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-06T00:00:00Z

论文提出了一种名为MaskLLM的可学习半结构化剪枝方法,通过大规模数据集学习N:M掩码,以降低大型语言模型的计算开销。该方法支持跨任务的稀疏模式迁移学习,显著提升模型性能和训练效率。实验结果表明,MaskLLM在多个大型语言模型上表现优异。

MaskLLM:英伟达出品,用于大模型的可学习`N:M`稀疏化 | NeurIPS'24 - 晓飞的算法工程笔记

晓飞的算法工程笔记
晓飞的算法工程笔记 · 2024-11-20T01:12:00Z

该论文探讨了多种神经网络剪枝方法,包括基于剪枝算法的优化、动态结构修剪和层自适应权重剪枝。这些方法在保持模型准确率的同时,显著降低了计算和内存开销,提升了深度学习模型的性能和可解释性。实验结果表明,提出的方法在多个数据集上优于现有技术。

面向复杂度的深度神经网络训练以实现最优结构发现

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-14T00:00:00Z

本文提出了一种针对PETL模型的剪枝方法SLS,通过特征级分析评估参数重要性,有效解决冗余参数问题。SLS在VTAB-1k基准测试中优于传统剪枝方法,提升了模型的存储效率和准确性,并动态识别冗余参数,确保剪枝过程不增加存储开销。

SLS:整层剪掉!基于降维特征聚类的PETL模型剪枝新方法 | ECCV'24 - 晓飞的算法工程笔记

晓飞的算法工程笔记
晓飞的算法工程笔记 · 2024-10-31T01:42:00Z

本文介绍了多种针对大型语言模型(LLMs)的剪枝方法,如LLM-Pruner、Wanda和GBLM-Pruner,强调在保持性能的同时实现模型压缩。这些方法在零样本分类和生成任务中表现优异,并提出了有效的剪枝策略和参数调整技巧,以提高模型的稀疏性和可解释性。

LLM-Rank:一种图论方法用于剪枝大型语言模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-17T00:00:00Z

本文介绍了多种针对预训练语言模型(PLMs)的剪枝方法,如Static Model Pruning、PAT、LLM-Pruner、Wanda和GBLM-Pruner。这些方法通过结构修剪和稀疏性诱导,在无需微调的情况下显著提升了模型性能和参数效率,尤其在零样本分类和生成任务中表现突出。研究表明,稀疏微调方法在指令调整上优于传统微调技术,推动了大型语言模型的优化与应用。

PAT:大语言模型的剪枝感知调优

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-27T00:00:00Z

该研究探讨了机器遗忘技术,提出通过模型稀疏化和剪枝方法提高遗忘性能的新方案。分析了现有机器去学习方法的优缺点,强调隐私问题及未来研究方向,旨在推动可信的机器学习能力发展。

TruVRF:迈向机器遗忘的三重粒度验证

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-12T00:00:00Z

该研究提出了一种结合“彩票票据假说”(LTH)与“知识蒸馏”(KD)的创新剪枝方法,旨在提高神经网络在边缘设备上的效率。通过三个剪枝模型,研究有效降低了功耗和模型维度,同时保持准确性。实验证明,该方法在GPU计算能力上实现了66.67%的降低,并首次将LTH和KD应用于推荐系统,提升了模型的公平性和性能。

高效的基于深度神经网络的软件与公平稀疏模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-03T00:00:00Z

本文探讨了多种针对视觉变换器(ViT)模型的压缩技术,重点在于提高计算效率和减少参数。提出了基于激活的结构化剪枝和自适应剪枝等方法,这些方法显著降低了模型参数和推理时间,同时保持了准确性,适用于移动设备和FPGA,推动了深度学习模型的高效应用。

SNP:结构化神经元级剪枝以保持注意力分数

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-18T00:00:00Z

本文介绍了一种基于准确性和稀疏性目标的深层网络动态构建算法,采用渐进式松弛和网络优化,训练出的网络在精度和规模上优于传统剪枝方法。此外,研究评估了多种稀疏性技术,并提出了新型剪枝方法,显著提升了模型性能和效率。

通过刺激训练增强稀疏化

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-11T00:00:00Z

CoFi是一种新的剪枝方法,结合了粗细粒度模块的剪枝决策,并采用分层蒸馏策略将知识从未剪枝模型转移到已剪枝模型。实验表明,CoFi方法在GLUE和SQuAD数据集上具有更高的效率和效果,同时无需使用无标注数据。

ECoFLaP: 高效细粒度层次裁剪用于视觉 - 语言模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-04T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码