BriefGPT - AI 论文速递 · 2024-02-07T00:00:00Z L4Q：大型语言模型的参数高效量化感知训练：基于 LoRA-wise LSQ 💡 原文中文，约600字，阅读约需2分钟。 📝 内容提要 本文介绍了一种内存高效适应预训练语言模型的方法，通过迭代算法将预训练矩阵分解为高精度低秩部分和内存高效的量化部分。在微调过程中，只更新低秩部分，量化部分保持固定。通过整数线性规划形式动态配置量化参数，实现在总体存储器预算下的量化。实验结果表明，该方法在适应不同模型时优于其他基准方法，并能实现更激进的量化。 🏷️ 标签 lora 内存高效 大型语言模型 整数线性规划 迭代算法 量化 预训练语言模型 阅读原文 生成长图 分享链接 已复制链接
