大型语言模型量化研究综述：4位量化在多数基准测试中性能接近原模型，困惑度可作为代理指标。已有PTQ、WKVQuant、QLLM、RPTQ、SmoothQuant等方法，实现W4A8、W8A8及KV缓存量化，兼顾精度与硬件效率，降低推理成本。

本文综述了多种神经网络量化方法，包括DetPTQ通过检测结果自适应选择量化参数以提升2D和3D检测器性能，GPTQ证明基于梯度的后训练量化具有鲁棒性并提出混合精度技术，ZeroQuant利用细粒度量化和知识蒸馏压缩大型Transformer模型，以及半监督3D检测、LLM近3位量化、LDMs压缩和BERT量化等研究。

本文介绍了一种名为norm tweaking的技术，可作为当前PTQ方法的插件使用，以实现高精度且成本效益的模型压缩。通过更新归一化层的权重，该方法在权重量化和权重与激活联合量化方面取得了显著的改进，在2位量化情况下甚至达到与浮点数模型相同的精度水平。该方法简单有效，适用于实际应用。