一步前進與回退：克服損失感知量化訓練中的曲折問題
内容提要
本文综述神经网络量化技术，涵盖权重与激活的低比特量化、量化感知训练和后训练量化，重点方法包括Learned Step Size、SAT、ProxQuant、GPTQ等，可在1至4比特下保持精度，并缓解震荡与内存问题，推动高效部署。
延伸解读
量化训练中的震荡问题与应对
文章指出，在低比特量化训练中，深度可分离网络（如MobileNets、EfficientNets）的量化权重可能出现意外震荡，导致推断统计错误和训练噪声增加，显著降低准确性。作者为此提出了自适应调节震荡和迭代冻结权重两种QAT算法，相比已有方法表现更好。这提醒读者，量化训练并非一帆风顺，需关注稳定性问题。
量化方法的演进与代表性工作
文章梳理了量化技术的发展脉络：从2018年的迭代量化与重训练结合，到Learned Step Size Quantization实现3位模型达到全精度基线，再到SAT和ProxQuant等方法的提出。这些工作逐步解决了低比特量化中的精度损失和优化问题，并在ImageNet等数据集上验证了有效性。读者可从中了解量化领域的关键里程碑。
后训练量化与GPTQ的鲁棒性
文章介绍了基于梯度的后训练量化方法GPTQ，证明其在权重选择、特征增强和校准集方面具有鲁棒性，并提出了设计更高效、可扩展GPTQ方法的准则。此外，基于重要性的混合精度技术进一步提升了性能。这表明后训练量化在无需重新训练的情况下也能实现较好效果，为实际部署提供了便利。
量化技术的实际影响与局限
量化技术能在1至4比特下保持精度，减少内存占用和硬件资源需求，推动高效部署。但文章也提到，低比特量化可能引发震荡和统计错误，需要特定算法缓解。此外，量化训练的理论视角和非凸问题下的算法行为仍需探索。读者应权衡量化带来的效率提升与潜在风险。
Q&A
量化感知训练中为什么会出现权重震荡问题？
在低比特率下，深度可分离网络（如MobileNets、EfficientNets）的量化训练中，量化权重可能出现意外震荡，导致推断时统计错误、训练时增加噪声，从而显著降低准确性。
有哪些方法可以缓解量化训练中的震荡问题？
作者提出了两种新的QAT算法：自适应调节震荡和迭代冻结权重，它们相比已有算法表现更好。
Learned Step Size Quantization (LSSQ) 的主要特点是什么？
LSSQ使用2、3或4位字长量化权重和激活函数，能够训练3位模型达到完全精度基线准确性，在ImageNet数据集上实现了当时最高的准确性。
ProxQuant 相比直通渐变法有什么优势？
ProxQuant将量化网络训练转化为规则化学习问题，通过Prox-梯度方法优化。对于二元量化，ProxQuant在稳定性上优于直通渐变法，并在二元量化上实现优于现有水平的结果，多位量化上与现有技术持平。
GPTQ 后训练量化方法有哪些鲁棒性？
GPTQ在权重选择、特征增强、校准集等方面具有一定鲁棒性，并提出了设计更高效、可扩展的GPTQ方法的准则，以及基于重要性的混合精度技术。
SAT 量化方法如何提升模型性能？
SAT（scale-adjusted training）能更高效地训练神经网络，结合梯度校准的PACT，量化模型可以达到与全精度模型相当甚至更好的性能，并在MobileNet-V1/V2和PreResNet-50等模型上持续改进，达到最先进的精度。
