Transformers中原生支持的量化方案概述
原文中文，约2700字，阅读约需7分钟。
📝
内容提要
本文介绍了Transformer支持的两种量化方案：bitsandbytes和auto-gptq，分别适用于微调和生成。比较了两种方案的优缺点，提出了一种获得更好合并模型的方法。
🏷️
