小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
大模型剪枝新范式:先浓缩,再剪枝——DenoiseRotator技术解读

DenoiseRotator是一种新型的大模型剪枝技术,通过“重要性浓缩”优化参数分布,增强剪枝的鲁棒性并减少性能损失。该方法与现有剪枝算法兼容,已在NeurIPS会议上发表,适用于大规模语言模型的高效压缩。

大模型剪枝新范式:先浓缩,再剪枝——DenoiseRotator技术解读

美团技术团队
美团技术团队 · 2025-12-19T00:00:00Z

机器之心数据服务已上线,提供高效稳定的数据获取服务,帮助用户轻松获取所需数据。

加速近5倍!北大与字节团队提出BranchGRPO,用「树形分叉 + 剪枝」重塑扩散模型对齐

机器之心
机器之心 · 2025-09-22T07:45:56Z
指令跟随剪枝用于大型语言模型

随着大型语言模型的发展,本文提出了一种动态剪枝方法——指令跟随剪枝,能够根据用户指令动态选择模型参数。该方法通过优化稀疏掩码预测器和LLM,显著提升了推理效率和性能,实验结果在多个评估基准上表现优异。

指令跟随剪枝用于大型语言模型

Apple Machine Learning Research
Apple Machine Learning Research · 2025-06-30T00:00:00Z
如何优化语言模型大小以便部署

本文探讨了优化语言模型大小的策略,包括模型蒸馏、剪枝、层减少和模块化适应。蒸馏通过教师-学生模型训练小型模型,剪枝移除贡献最小的权重,层减少通过减少网络层数提高效率,模块化方法如LoRA简化模型适应。此外,权重级优化技术如量化和权重共享也被提及,以提高推理速度和减少内存占用。

如何优化语言模型大小以便部署

MachineLearningMastery.com
MachineLearningMastery.com · 2025-06-09T16:40:47Z

本研究解决了智能交通场景中车辆具身智能网络(VEANs)中智能体迁移存在的计算延迟和资源限制问题。提出了一种Tiny Multi-Agent Bidirectional LSTM Proximal Policy...

基于双向长短期记忆网络的多智能体深度强化学习及计算感知剪枝用于车辆具身智能网络中的智能体双胞胎迁移

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-09T00:00:00Z

本研究探讨了自编码器的神经网络剪枝,提出了一种基于激活的变异算子来指导权重剪枝。结果表明,该方法在效率上优于随机剪枝,尤其在低维环境中更为有效,提升了自编码器的性能和可扩展性。

Activation-Based Pruning Operator Guiding Evolutionary Autoencoder Training

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-08T00:00:00Z

本研究提出了一种新的结构化剪枝框架SPAP,旨在优化大型语言模型的计算和内存需求。SPAP通过混合整数优化和交替最小化算法,解决了性能下降和微调成本高的问题,实验证明其在推理速度和内存效率上优于现有方法。

SPAP:通过交替优化和惩罚方法进行结构化剪枝

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-06T00:00:00Z

回溯算法是一种搜索方法,通过深度优先遍历树形结构来寻找复杂问题的解,如全排列。其过程包括选择、递归和撤销选择,时间复杂度通常为O(N!),适合暴力穷举,优化时需注意剪枝。

算法模式:回溯

"地瓜哥"博客网
"地瓜哥"博客网 · 2025-04-09T09:30:51Z

本文提出了一种自适应计算剪枝方法(ACP),有效解决遗忘变换器中注意力头快速遗忘的问题。研究表明,ACP可减少约70%的计算量,提高训练吞吐量10%至35%,在长上下文中效果更为显著,且性能保持稳定。

遗忘变换器的自适应计算剪枝

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-09T00:00:00Z
Faster than GRPO by 8 Times on GSM8K! Xiamen University Proposes CPPO, Making Reinforcement Learning Lightning Fast

厦门大学研究团队提出新算法CPPO(完成剪枝策略优化),旨在加速GRPO(组相对策略优化)训练。CPPO通过剪枝低优势的完成结果,减少计算量,提高训练效率。实验表明,CPPO在保持准确度的同时,训练速度比GRPO快8.32倍,具有良好的稳定性和收敛性,适合大规模推理模型训练。

Faster than GRPO by 8 Times on GSM8K! Xiamen University Proposes CPPO, Making Reinforcement Learning Lightning Fast

机器之心
机器之心 · 2025-04-01T03:54:55Z

本文探讨了通过剪枝注意力头来减轻大型语言模型的偏差问题,提出了一种随机模拟退火的方法,有效识别需剪除的偏差贡献大的注意力头,实验表明可减少多达40%的性别偏差。

Attention Pruning: Automatically Mitigating Fairness in Language Models through Proxy Simulated Annealing

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-20T00:00:00Z

本研究解决了癌症诊断中数据不平衡带来的分类器性能和可靠性问题,提出了RE-SMOTEBoost方法。该方法通过优先在重叠区域生成合成样本、信息熵过滤机制减少噪声并引入双重正则化惩罚,有效提高了少数类样本的质量。结果表明,RE-SMOTEBoost在不平衡数据集上相较于现有技术有显著提升,证明了其在医疗应用中的潜在影响。

一种基于信息熵和轮盘选择的新型双重剪枝方法用于乳腺癌诊断的不平衡数据

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-15T00:00:00Z

本研究解决了现有结构化剪枝方法中随机选择校准数据和固定单一重要性评估指标导致剪枝模型性能下降的问题。提出的AdaPruner框架通过构建结构化剪枝解空间,并采用贝叶斯优化自适应搜索最佳的校准数据和重要性评估指标,从而有效去除大型语言模型中的冗余参数。实验结果表明,AdaPruner在多个大型语言模型上有效提升了剪枝性能,在20\%的剪枝比率下,模型性能维持在97\%,展示了其适用性和鲁棒性。

基于样本感知的自适应结构化剪枝用于大型语言模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-08T00:00:00Z

本研究解决了现有模型剪枝方法在不同数据集和任务上泛化能力不强的问题。我们提出了一种新的方法——神经元语义归因,能够将神经元与特定语义关联,从而提高剪枝效果的可解释性。研究发现,该方法在情感分类任务中显著提升了剪枝性能,对模型加速和资源节约具有重要影响。

重新审视大语言模型剪枝的神经元语义归因

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-03T00:00:00Z

本研究针对目前联合剪枝与量化方法在工程复杂性、黑箱优化及架构通用性等方面的不足,提出了一种新的框架GETA,能够自动高效地对深度神经网络进行联合结构剪枝和量化感知训练。实验结果表明,GETA在卷积神经网络和变换器架构上均能实现与现有方法竞争甚至更优的性能,展示了该方法对网络压缩质量的显著提升潜力。

高效神经网络训练与压缩的自动联合结构剪枝和量化

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-23T00:00:00Z
回溯揭秘:掌握深度优先搜索与剪枝技术

回溯是一种系统性的方法,通过深度优先搜索(DFS)遍历所有可能的配置,常用于需要做出一系列决策的问题。它从初始状态开始,探索所有状态,直到找到目标状态或遍历完所有状态,并通过剪枝函数排除无效路径。

回溯揭秘:掌握深度优先搜索与剪枝技术

DEV Community
DEV Community · 2025-02-22T09:04:27Z

本研究解决了大规模语言模型在效率上的提升需求,提出了一种名为探测剪枝的动态剪枝框架。该框架通过探测每个批次的关键权重,实现对不同批次的定制化剪枝,显著提高了结构化剪枝的效率,且与现有模型兼容,具备较低的性能下降比和运行时间缩减。

探测剪枝:通过模型探测实现大规模语言模型的动态加速剪枝

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-21T00:00:00Z

本研究提出了一种新剪枝标准——费舍尔-泰勒敏感度(FTS),有效解决了传统剪枝在资源受限环境下的局限性,并在极端稀疏条件下显著提升了剪枝效果。

寻找高效且成本低廉的初始化剪枝方法

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-17T00:00:00Z
智能AI数据集缩减:文件大小减少90%,性能无损

该研究提出了一种新颖的图像数据集压缩方法,结合剪枝、合并和增强技术,实现了高达90%的数据集大小减少,同时保持模型性能。

智能AI数据集缩减:文件大小减少90%,性能无损

DEV Community
DEV Community · 2025-02-14T09:49:21Z

本研究针对联邦学习中高计算和通信需求对资源有限设备的挑战,提出了一种新颖的联邦鲁棒剪枝框架(FedRTS)。该方法通过基于汤普森采样的调整机制,利用稳定和前瞻性的信息作出决策,从而提高鲁棒性和性能。实验结果表明,FedRTS在计算机视觉和自然语言处理任务上表现出色,同时降低了通信成本,特别是在数据分布异构和部分客户端参与的场景中。

联邦鲁棒剪枝:基于组合汤普森采样的方法

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-31T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码