典型案例分析中的权重量化对模型学习的影响
内容提要
该文综述量化神经网络研究，涵盖对抗鲁棒性、低精度训练、混合精度压缩及后训练量化。核心发现：量化不提供强对抗保护；增加位宽会降低对抗鲁棒性，但提升自然与系统鲁棒性；细粒度量化对精度至关重要；量化训练可产生更稳定模型。
延伸解读
量化与对抗鲁棒性的权衡
文章指出，量化并不能提供强大的对抗保护，且增加位宽会降低对抗鲁棒性，但提升自然鲁棒性和系统鲁棒性。这意味着在实际部署中，若主要威胁是对抗攻击，低精度量化可能反而更有利；但若环境噪声较多，则需权衡位宽选择。这一发现挑战了量化总能提升鲁棒性的常见假设。
细粒度量化对精度的关键作用
研究强调，细粒度量化是获得良好精度的必要条件，且粗粒度高比特（如5比特）可能比细粒度低比特（如4比特）更有效。这提示在模型压缩时，不应盲目追求低比特，而应关注量化粒度与比特宽度的平衡，以在压缩率和精度间取得最优解。
量化训练提升模型稳定性
文章发现，量化训练可以产生更稳定的模型，并且Margin是量化模型中更好的不确定性度量指标。这表明量化不仅影响精度和鲁棒性，还能改变模型的行为特征，使其在分布转移下表现更一致。对于需要可靠部署的场景，量化训练可能带来额外的稳定性收益。
Q&A
量化神经网络能提供对抗鲁棒性保护吗？
不能。研究表明，量化不能提供任何强大的保护性，量化模型在对抗性鲁棒性方面表现更好，但对自然扰动和系统噪声更加脆弱。
增加量化位宽对模型鲁棒性有什么影响？
一般来说，增加量化位宽会导致对抗性鲁棒性降低，自然鲁棒性增强，系统鲁棒性增加。
哪些扰动方法对量化模型影响最大？
在扰动方法中，脉冲噪声和玻璃模糊对量化模型的影响最大，而亮度的影响最小。
在系统噪声中，哪种插值方法对量化模型影响最大？
在系统噪声中，最近邻插值的影响最大，而双线性插值、立方插值和区域插值的影响最小。
量化训练能产生更稳定的模型吗？
是的，量化训练可以产生更稳定的模型，并且 Margin 是量化模型中不确定性度量的更好指标。
后训练量化中，细粒度量化对精度有多重要？
细粒度量化对精度至关重要，是获得良好准确性所必需的。粗粒度量化的高比特位（如5比特）比非常细粒度量化的低比特位（如4比特）更强大。
