本文介绍了一种新型混合精度量化方法BitsFusion,能够将扩散模型的权重压缩至平均1.99位,同时保持高性能。BitsFusion通过权重分组和不同精度量化,显著提升了内存效率和运行速度。研究表明,BitsFusion在多个基准测试中优于其他量化方法,具有重要应用潜力。
通过开发一种新的权重量化方法,将稳定扩散 v1.5 的 UNet 模型量化为 1.99 位,实现模型尺寸减小 7.9 倍,同时展现更好的生成质量。
完成下面两步后,将自动完成登录并继续当前操作。