极道
·
Transformers中原生支持的量化方案概述
💡
原文中文，约2700字，阅读约需7分钟。
📝
内容提要
本文介绍了Transformer支持的两种量化方案：bitsandbytes和auto-gptq，分别适用于微调和生成。比较了两种方案的优缺点，提出了一种获得更好合并模型的方法。
🎯
关键要点
- Transformer支持两种量化方案：bitsandbytes和auto-gptq，分别适用于微调和生成。
- 量化模型主要用于在小设备上运行大型模型的推理和在量化模型上微调适配器。
- bitsandbytes的优点包括易用性、跨模态互操作性和合并适配器时性能不下降。
- autoGPTQ的优势在于快速生成文本、支持n-bit量化和易于序列化。
- bitsandbytes在文本生成方面比GPTQ慢，4-bit权重不可序列化是其潜在改进空间。
- autoGPTQ的潜在改进包括校准数据集的需求和目前仅支持语言模型。
- 通过基准测试比较bitsandbytes和auto-gptq的推理和微调适配器性能。
- 建议的合并模型方法是：使用bitsandbytes量化基础模型，添加并微调适配器，然后使用GPTQ量化合并后的模型。
➡️
