本文介绍了Transformer支持的两种量化方案：bitsandbytes和auto-gptq，分别适用于微调和生成。比较了两种方案的优缺点，提出了一种获得更好合并模型的方法。
本文介绍了Bitsandbytes和QLoRA两种方法，可以将模型压缩到4位精度，适用于大多数HF模型。虽然无法进行纯4位训练，但可以使用参数高效微调方法（PEFT）在模型上进行微调。作者还介绍了这种量化方法对消费级硬件上训练大型模型的影响，并提供了相关实验结果。
完成下面两步后，将自动完成登录并继续当前操作。
