小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究提出了一种后训练量化框架,通过细粒度分组和EM量化方案,将大语言模型的权重量化为1位,显著降低量化误差并提升性能。

Binary Weight and Activation Implementation for Large Language Models Using Post-Training Quantization

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-07T00:00:00Z

本文提出了SQuat方法,解决了键值缓存量化中的误差累积问题。该方法通过构建查询张量生成的子空间,确保量化后的键与原始键之间的差异正交,从而减小量化误差对注意力机制的影响。实验结果表明,SQuat在内存占用和处理能力方面优于现有算法。

Subspace-Orthogonal Key-Value Cache Quantization

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-31T00:00:00Z

本研究提出了一种粗到细的标记预测方法,解决自回归图像生成中的量化误差问题。实验结果显示,Inception分数平均提升59分,且采样速度更快。

Enhancing Autoregressive Image Generation through Coarse-to-Fine Label Prediction

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-20T00:00:00Z

本研究提出了一种新方法,解决了深度神经网络中计算-存储(CIM)的量化误差和低位权重限制问题,提升了准确性并简化了训练过程。实验结果表明,该方法在准确性和硬件效率上优于相关研究。

用于准确和高效计算-存储加速器的列级量化权重和部分和

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-11T00:00:00Z

本研究探讨了大语言模型后训练量化中的量化简化问题,重点分析各层的量化误差。引入两种微调策略,相较于单一微调,效果因模型而异,对某些模型有显著提升。

大语言模型后训练量化中的块间交互

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-06T00:00:00Z

后训练量化在视觉Transformer中受到关注,但现有方法常忽视权重和激活间的复杂依赖,导致量化误差。论文提出ERQ方法,通过减少激活和权重量化误差来优化。实验表明,ERQ在ViT-S上性能优于GPTQ,提升22.36%。

ERQ:32位转5位仅掉些许精度,来看看两段式后训练量化 | ICML 2024 - 晓飞的算法工程笔记

晓飞的算法工程笔记
晓飞的算法工程笔记 · 2024-10-16T04:35:00Z

本文研究了在上传之前对本地模型参数进行量化,以减少联邦学习的收敛时间。通过随机量化和综合优化计算、通讯资源和量化比特数,保证了最小收敛时间和能源、量化误差的要求。该方法加速了收敛速度,并为选择量化误差容忍度提供了见解。

约束速率的量化用于通信高效的联邦学ä¹

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-10T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码