BriefGPT - AI 论文速递
·
Viz: 一个基于 QLoRA 的合法合规生成式人工智能版权市场
💡
原文中文，约600字，阅读约需2分钟。
📝
内容提要
该研究提出了一种内存高效的预训练语言模型适应方法。通过将预训练矩阵分解为高精度低秩部分和内存高效的量化部分，使用迭代算法进行微调。该方法可以动态配置量化参数，并在实验中表现优于其他基准方法。
🎯
关键要点
- 提出了一种内存高效的预训练语言模型适应方法。
- 方法通过迭代算法将预训练矩阵分解为高精度低秩部分和内存高效的量化部分。
- 在微调过程中，量化部分保持固定，只有低秩部分被更新。
- 量化部分的整数线性规划形式可以动态配置量化参数。
- 探索了数据感知版本的算法，使用Fisher信息矩阵的近似来加权矩阵分解过程。
- 在RoBERTa和LLaMA-2的实验中，LQ-LoRA方法优于QLoRA和GPTQ-LoRA基准。
- LQ-LoRA能够学习一个2.5位的LLaMA-2模型，与使用4位QLoRA微调的模型竞争。
- 在语言建模校准数据集上微调时，LQ-LoRA可用于模型压缩，且在全精度上与原始模型竞争。
🏷️
标签
➡️
