该文综述Transformer语言模型的量化研究，重点讨论异常值抑制与低精度微调。提出Clipped softmax、Gated attention、Outlier Suppression+、PreQuant、SDQ等方法，通过通道位移、缩放、蒸馏等技术消除激活异常值，实现INT8乃至4比特量化，在GLUE、XGLUE等基准上保持接近浮点精度，显著降低内存与推理成本。