小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究提出了一种后训练量化框架,通过细粒度分组和EM量化方案,将大语言模型的权重量化为1位,显著降低量化误差并提升性能。

Binary Weight and Activation Implementation for Large Language Models Using Post-Training Quantization

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-07T00:00:00Z

本文提出了SQuat方法,解决了键值缓存量化中的误差累积问题。该方法通过构建查询张量生成的子空间,确保量化后的键与原始键之间的差异正交,从而减小量化误差对注意力机制的影响。实验结果表明,SQuat在内存占用和处理能力方面优于现有算法。

Subspace-Orthogonal Key-Value Cache Quantization

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-31T00:00:00Z

本研究提出了一种粗到细的标记预测方法,解决自回归图像生成中的量化误差问题。实验结果显示,Inception分数平均提升59分,且采样速度更快。

Enhancing Autoregressive Image Generation through Coarse-to-Fine Label Prediction

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-20T00:00:00Z

本研究提出了一种新的列级量化方法,旨在解决深度神经网络中的量化误差和低位权重限制问题。该方法提高了准确性,简化了训练过程,并增强了对内存单元变化的鲁棒性。实验结果表明,该方法在准确性和硬件效率上均优于相关研究。

Column-wise Quantization of Weights and Partial Sums for Accurate and Efficient Compute-In-Memory Accelerators

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-11T00:00:00Z

本研究探讨了大语言模型后训练量化中的块间交互问题,关注量化误差。引入两种多块微调策略,发现这些方法在特定网络模型上显著提升了量化效果。

Interactions Across Blocks in Post-Training Quantization of Large Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-06T00:00:00Z

后训练量化在视觉Transformer中受到关注,但现有方法常忽视权重和激活间的复杂依赖,导致量化误差。论文提出ERQ方法,通过减少激活和权重量化误差来优化。实验表明,ERQ在ViT-S上性能优于GPTQ,提升22.36%。

ERQ:32位转5位仅掉些许精度,来看看两段式后训练量化 | ICML 2024 - 晓飞的算法工程笔记

晓飞的算法工程笔记
晓飞的算法工程笔记 · 2024-10-16T04:35:00Z

本文介绍了旋转二进制神经网络(RBNN)框架,通过优化全精度权重与二进制版本的对齐,减少量化误差。RBNN在CIFAR-10和ImageNet数据集上表现优异。此外,提出的自适应二值化方法AdaBin和其他训练技术显著提升了二进制神经网络的性能和计算效率。

BiPer:使用周期函数的二进制神经网络

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-01T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码