深度神经网络低精度训练的更好调度
内容提要
该文综述低精度深度神经网络训练与量化方法，包括循环精度训练、低位量化卷积网络、嵌入表压缩、课程学习、渐进与随机量化、知识蒸馏、SAT、GPTQ及分段线性量化等，并在多个数据集和模型上验证其能提升效率与精度。
延伸解读
低精度训练的多路径探索
文章综述了多种低精度训练方法，包括循环精度训练、渐进与随机量化、知识蒸馏、SAT、GPTQ及分段线性量化等。这些方法从不同角度提升效率与精度，例如CPT通过循环调整精度来优化训练，而SAT则调整量化尺度。读者可了解该领域技术多样性，但需注意各方法适用场景不同。
量化压缩的实际收益
文章提到，通过低精度训练和自适应方法，CTR预测模型中的嵌入表可压缩至8位而不损失准确性；在ImageNet上，二值化ResNet-18的Top-1和Top-5精度分别提升5.80%和6.85%。这些结果展示了低精度训练在减少存储和计算开销方面的潜力，但具体收益因模型和数据集而异。
后训练量化的鲁棒性
GPTQ作为一种基于梯度的后训练量化方法，在权重选择、特征增强和校准集方面表现出鲁棒性。文章还提出了设计更高效、可扩展GPTQ方法的准则，以及基于重要性的混合精度技术。这些发现有助于理解后训练量化的优化方向，但实际部署时仍需考虑模型兼容性。
Q&A
什么是循环精度训练（CPT）？它有什么优势？
循环精度训练（CPT）是一种低精度训练方法，能够提升深度神经网络训练的时间和能量效率。该方法在五个数据集和十一种模型上进行了大量仿真和消融研究，验证了其有效性。
如何提升二值化神经网络的精度？
可以通过多次循环训练来实现强化低位量化卷积神经网络性能。该方法使用多个量化步骤，软性地将预训练模型的知识传递给低位量化模型，并采用循环训练提高准确性。在ImageNet数据集上，ResNet-18二值化网络的Top-1和Top-5精度分别提高了5.80%和6.85%。
低精度训练如何用于压缩CTR预测模型中的embedding tables？
通过低精度训练和自适应的低精度训练方法，可以成功压缩CTR预测模型中的embedding tables，并在不损失预测准确性的情况下实现8位embedding tables的训练。
有哪些优化低精度深度卷积神经网络的实用方法？
有三种实用方法：渐进式量化、随机量化以及联合知识蒸馏。实验证明，这些方法在各种数据集上表现良好，能有效优化低精度深度卷积神经网络的训练。
什么是scale-adjusted training (SAT)？它有什么效果？
scale-adjusted training (SAT)是一种新的量化方法，用于更高效地训练神经网络。它分析了参数化剪辑激活（PACT）技术中梯度计算引入的量化误差。结合SAT和梯度校准的PACT，量化模型可以达到与全精度模型相当甚至更好的性能，并在MobileNet-V1/V2和PreResNet-50等模型上持续改进，达到最先进的精度。
基于梯度的后训练量化方法（GPTQ）有哪些鲁棒性和设计准则？
GPTQ方法在选择权重、特征增强、校准集等方面具有一定鲁棒性。文章提出了设计更高效、可扩展的GPTQ方法的准则，并提出了一种基于重要性的混合精度技术，这些准则和技术共同促进了已有GPTQ方法和网络的性能改进。
分段线性量化方法如何解决低位宽下的性能下降问题？
分段线性量化方法通过最小化量化误差来确定最优的分界点，从而解决现有量化方法在低位宽下性能显著下降的问题。该方法在图像分类、语义分割和物体检测等方面表现优异。
