小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

该研究提出了一种新的剪枝方法——最优脑细胞凋亡(OBA),旨在解决卷积神经网络和变换器在计算效率和资源需求方面的挑战。通过计算参数的Hessian-向量乘积值,提升了剪枝的精确度,实验结果在多个数据集上表现优异。

最优脑细胞凋亡

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-25T00:00:00Z

本研究提出了一种名为PGB的剪枝方法,旨在解决大型预训练语言模型(如BERT)的推理速度和内存使用问题。PGB通过识别重要权重并剪除不重要权重,提高了模型的压缩效率和稀疏性,同时保持了准确性。

One-shot Pruning of BERT through Weight Grouping and Arrangement

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-06T00:00:00Z

论文提出了一种名为MaskLLM的可学习半结构化剪枝方法,通过大规模数据集学习N:M掩码,以降低大型语言模型的计算开销。该方法支持跨任务的稀疏模式迁移学习,显著提升模型性能和训练效率。实验结果表明,MaskLLM在多个大型语言模型上表现优异。

MaskLLM:英伟达出品,用于大模型的可学习`N:M`稀疏化 | NeurIPS'24 - 晓飞的算法工程笔记

晓飞的算法工程笔记
晓飞的算法工程笔记 · 2024-11-20T01:12:00Z

本文提出了一种针对PETL模型的剪枝方法SLS,通过特征级分析评估参数重要性,有效解决冗余参数问题。SLS在VTAB-1k基准测试中优于传统剪枝方法,提升了模型的存储效率和准确性,并动态识别冗余参数,确保剪枝过程不增加存储开销。

SLS:整层剪掉!基于降维特征聚类的PETL模型剪枝新方法 | ECCV'24 - 晓飞的算法工程笔记

晓飞的算法工程笔记
晓飞的算法工程笔记 · 2024-10-31T01:42:00Z

本研究提出了一种剪枝方法,解决了提升树集成模型可解释性和推理时间长的问题。修剪后模型保持预测功能不变,能够减小模型规模同时保持高性能,具有实际应用价值。

森林中的免费午餐:功能等同的提升树集成剪枝

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-28T00:00:00Z

本文介绍了一种名为FinerCut的剪枝方法,可剪枝Transformer网络中的自注意力层和前馈神经网络层,实现模型精简、可解释、多任务的效果。FinerCut的效果更好,无需微调或后剪枝重建。该方法提供了可视化工具,为未来的语言模型设计提供了灵感。

LLM-Barber:面向大型语言模型的单次稀疏掩膜块感知重建器

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-20T00:00:00Z

本文介绍了一种名为FinerCut的剪枝方法,用于剪枝Transformer网络中的自注意力层和前馈神经网络层,以达到模型精简、可解释、多任务的效果。与之前的方法相比,FinerCut的效果更好,无需微调或后剪枝重建。该方法还提供了可视化工具,为未来的语言模型设计提供了灵感。

在高效基础上构建:利用结构化前馈层有效训练 LLMs

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-24T00:00:00Z

CoFi是一种新的剪枝方法,结合了粗细粒度模块的剪枝决策,并采用分层蒸馏策略将知识从未剪枝模型转移到已剪枝模型。实验表明,CoFi方法在GLUE和SQuAD数据集上具有更高的效率和效果,同时无需使用无标注数据。

ECoFLaP: 高效细粒度层次裁剪用于视觉 - 语言模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-04T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码