1位完全量化训练：将完全量化训练推向1位的极限
内容提要
本文探讨了卷积神经网络的量化技术，指出逐通道和逐层量化可以显著降低模型大小并保持高准确率。介绍了量化网络的基准测试，量化实现速度提升2至3倍。强调量化在深度神经网络高效部署中的重要性，并展示了新方法AdaQAT在训练中的优势。
延伸解读
量化方案的实践选择
文章建议将逐通道量化的权重和逐层量化的激活作为首选方案，这能在不支持8位运算的硬件上仍将模型大小降低4倍，并保持98%的浮点准确率。对于CPU和DSP部署，这种组合可带来2至3倍的推理加速，是平衡精度与效率的实用起点。
超低精度量化的技术演进
从2018年的对称码本方法到2024年的1.58位量化感知训练，超低精度量化不断突破极限。对称码本通过减少权重子组的梯度误差提升准确性，而1.58位方法在小型语言和视觉模型上达到最先进性能，表明极低比特量化已具备实际部署潜力。
训练策略的对比与融合
文章对比了联合训练、渐进式量化和AdaQAT等策略。联合训练同时优化量化器和网络，提升预测准确性；AdaQAT自动优化比特宽度，在CIFAR-10和ImageNet上媲美最先进混合精度方法。这些方法各有侧重，选择时需权衡训练成本与最终精度。
硬件与算法的协同趋势
量化技术的落地依赖硬件支持。文章提议未来处理器和加速器应支持4、8、16位精度，以优化推断。同时，GPTQ等后训练量化方法展现出对校准集等选择的鲁棒性，并引入混合精度技术，这暗示算法与硬件的协同设计将是高效部署的关键方向。
Q&A
什么是逐通道和逐层量化？
逐通道和逐层量化是对卷积神经网络中权重和激活进行的量化方法，可以显著降低模型大小并保持高准确率。
量化技术如何提高模型的速度？
量化技术可以将模型的实现速度提高2至3倍，尤其在CPU和DSP上表现明显。
AdaQAT方法的优势是什么？
AdaQAT方法在训练过程中自动优化权重和激活信号的比特宽度，表现优异，尤其在从头训练和微调场景中。
量化在深度神经网络中的重要性是什么？
量化在深度神经网络的高效部署中至关重要，支持固定点操作以替代浮点操作。
如何减少量化过程中的梯度误差？
可以通过学习特定权重子组的对称码本来减少梯度误差，从而提高网络的准确性。
联合训练方法在量化中的作用是什么？
联合训练方法可以同时训练量化器和深度神经网络，从而提高量化模型的预测准确性。
