本文介绍了一种新型FP4量化方法，能够在保持模型准确性的同时，将大型AI模型的内存使用减少50%，支持4位精度，最高可实现2倍内存节省。

本文介绍了Bitsandbytes和QLoRA两种方法，可以将模型压缩到4位精度，适用于大多数HF模型。虽然无法进行纯4位训练，但可以使用参数高效微调方法（PEFT）在模型上进行微调。作者还介绍了这种量化方法对消费级硬件上训练大型模型的影响，并提供了相关实验结果。