低精度算子（如INT8/FP8）在大模型推理和训练中至关重要，能够显著减少访存和提高算力。量化通过将浮点值映射到低位宽整数，采用对称或非对称量化方式。粒度选择影响精度，per-channel量化能更好保留精度。反量化应尽量晚进行，以减少精度损失。设计时需注意累加精度、舍入方式一致性和离群值处理等问题，以确保数值正确性。