小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate
大模型剪枝新范式:先浓缩,再剪枝——DenoiseRotator技术解读

DenoiseRotator是一种新型的大模型剪枝技术,通过“重要性浓缩”优化参数分布,增强剪枝的鲁棒性并减少性能损失。该方法与现有剪枝算法兼容,已在NeurIPS会议上发表,适用于大规模语言模型的高效压缩。

大模型剪枝新范式:先浓缩,再剪枝——DenoiseRotator技术解读

美团技术团队 美团技术团队 · 2025-12-19T00:00:00Z

本研究探讨了神经网络的剪枝技术,提出多种方法以减少冗余神经元,优化计算和内存开销。实验结果表明,在不影响准确率的情况下,显著提升了深度神经网络的性能,尤其是在CIFAR-10和ImageNet数据集上,多个模型的准确率得到了提升。

幽灵连接网络:针对分布转移的稀疏深度网络的增强泛化指导

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-11-14T00:00:00Z

本文探讨了深度学习中的不确定性估计、神经网络架构设计及其应用,提出了随机不可训练的“先验”网络和基于不确定性的剪枝技术,以提高模型性能和鲁棒性。这些研究为深度学习的优化和泛化能力提供了新见解。

深度学习中客观函数的排列冗余与不确定性

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-11-11T00:00:00Z

本文介绍了一种压缩大型视觉-语言模型的方法,采用蒸馏和剪枝技术,最终得到的EfficientVLM模型参数仅9300万,性能达到98.4%。同时,提出SimVLG框架,训练速度提高5倍,性能保持稳定。VistaLLM统一处理视觉任务,显著提升性能。FastV降低计算成本,适用于边缘设备。此外,研究探讨了视频理解模型的高效转换和训练策略,强调视频数据的重要性。

视频语言模型-MoD:基于层次跳跃的高效视频语言流处理

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-08-29T00:00:00Z

本文介绍了多种大型语言模型(LLM)的剪枝技术,如LLM-Pruner、BESA和FinerCut,旨在在保持性能的同时减少模型规模。这些方法通过结构修剪和优化算法,在零样本任务中表现出色,并在内存受限的设备上实现良好的推理速度,推动了高效语言模型的应用。

LLM-Barber:面向大型语言模型的单次稀疏掩膜块感知重建器

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-08-20T00:00:00Z

本文介绍了多种深度学习模型的剪枝技术,包括Diff-Pruning、无参数可微剪枝(PDP)和基于ADMM的剪枝方法。这些方法通过动态调整权重和优化算法,实现了显著的模型压缩和高效性能,适用于视觉和自然语言任务,提升了模型的准确性和训练效率。

衰减修剪方法:具有自纠正过程的平滑修剪

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-06-06T00:00:00Z

本文提出了一种名为FairPrune的深度学习方法,通过剪枝技术在医学图像分类中实现公平性,降低敏感群体与非敏感群体的分类差距。研究表明,该方法在不降低模型精度的情况下,能够提高分类的公平性和准确性,尤其在皮肤病数据集上表现突出。

通过通道修剪实现皮肤病诊断公平性

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-05-14T00:00:00Z

本研究提出了一种压缩大型视觉-语言模型的方法,通过知识蒸馏和剪枝技术,最终得到的EfficientVLM模型参数仅为9300万个,性能达到98.4%。同时,提出了多种框架和方法以提升模型在多语言和多模态任务中的适应性和性能。

MULTIFLOW:面向任务无关的视觉 - 语言剪枝的转变

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-04-08T00:00:00Z

该文介绍了使用剪枝技术的ML算法,以去除多余或不重要的交易规则。结果可分为四种情况,包括符合规则、意外结果规则、意外条件规则和双方意外规则。然而,方案2在统计上不重要,方案1需要设定结果长度,后件长度会随时间变化,需要同时解决漂移和优化的选择算法。此外,规则提取算法本身存在缺陷,如容易过度拟合、对变化不稳定、对噪音不稳定、非连续性和只找到局部最优解。

ML算法对量化交易规则的处理

极道 极道 · 2023-11-03T23:37:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码