量化是解决AI规模问题的常用方法，通过舍弃低位数字来减少存储空间。本文介绍了无损量化训练方法（QAT），并比较了不同量化技术的优缺点。实验结果表明，QAT显著提升模型性能，减少嵌入向量大小，加快信息检索速度。
美团开源了INT8无损量化的DeepSeek R1模型，提升了在A100等老显卡上的部署能力。通过分块和通道量化技术，模型在精度上几乎无损，推理吞吐量提高了50%。该模型已在Hugging Face发布，方便用户使用。
完成下面两步后，将自动完成登录并继续当前操作。
