Intel的AutoRound算法已集成至LLM Compressor,支持低位宽量化,提升模型准确性并简化工作流程。该算法优化了多种数据类型的量化,旨在加速推理,未来将扩展支持更多格式和模型,以促进实际部署。
完成下面两步后,将自动完成登录并继续当前操作。