本研究提出了GANQ框架，解决大型语言模型部署中的资源需求问题。通过无训练的GPU自适应优化，显著提升量化性能，减少量化误差，实现2.57倍加速。

GANQ：针对大型语言模型的GPU自适应非均匀量化
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证