低精度算子（如INT8/FP8）在大模型推理和训练中至关重要，能够显著减少访存和提高算力。量化通过将浮点值映射到低位宽整数，采用对称或非对称量化方式。粒度选择影响精度，per-channel量化能更好保留精度。反量化应尽量晚进行，以减少精度损失。设计时需注意累加精度、舍入方式一致性和离群值处理等问题，以确保数值正确性。

在TensorRT 10之前，隐式量化无法自定义缩放因子。本文介绍了一种技巧，允许用户通过量化和反量化权重张量来实现自定义缩放因子，从而确保量化效果接近预期。