通过一致性规则将量化感知训练推向全精度性能
内容提要
本文综述量化感知训练（QAT）的多项进展：ACS通过误差向量与分歧分数选择coreset以提升训练效率；EdgeQAT按令牌动态量化，在边缘设备上实现2.37倍加速；SQAKD利用自监督蒸馏提升QAT性能；TI采用主动蒸馏加速超低精度Transformer收敛；GPTQ后训练量化具备鲁棒性并支持混合精度；时间序列Transformer实现自适应对称/非对称量化；FXP卷积关键词检测结合压缩与正则化降至4位，执行时间减少68%。
延伸解读
量化感知训练的效率优化路径
文章综述的ACS方法通过误差向量和分歧分数选择coreset，旨在提升QAT训练效率。这提示读者，在量化训练中，数据选择可能和量化算法本身同样重要。对于计算资源有限或数据集冗余的场景，此类方法有望减少训练开销，但需注意其效果依赖于重要性度量的设计。
边缘设备上的动态量化实践
EdgeQAT根据令牌动态调整量化位宽，在边缘设备上实现了2.37倍的推理加速。这表明，面向边缘部署时，静态量化可能不是最优解，按输入内容动态分配精度可以在速度和精度之间取得更好平衡。不过，动态量化可能增加运行时调度复杂度，实际部署需权衡硬件支持。
知识蒸馏与QAT的结合趋势
SQAKD和TI分别通过自监督蒸馏和主动蒸馏来提升QAT性能或加速收敛。这些方法显示，蒸馏技术正被用于弥补量化带来的精度损失，尤其是在超低精度场景。读者可关注蒸馏信号的设计如何影响量化模型的最终表现，但需注意其额外训练成本。
后训练量化与混合精度的鲁棒性
GPTQ后训练量化被证明对权重选择、校准集等具有鲁棒性，并支持基于重要性的混合精度。这为实际部署提供了灵活性：无需完整重训练即可量化，且可对敏感层保留更高精度。但文章也指出，设计高效可扩展的GPTQ方法仍需遵循一定准则，盲目应用可能无法达到最优。
Q&A
ACS方法如何提升量化感知训练的效率？
ACS通过误差向量分数和分歧分数量化每个样本的重要性，并基于这些指标选择coreset进行训练，从而在多个网络和数据集上显著提高训练效率。
EdgeQAT在边缘设备上的加速效果如何？
EdgeQAT通过熵和分布引导的量化感知训练，动态量化不同位宽的令牌，在多个边缘设备上相比FP16模型可实现高达2.37倍的推理加速。
SQAKD框架如何提升量化感知训练的性能？
SQAKD是一种自监督量化感知知识蒸馏框架，通过同时最小化KL-Loss和离散化误差，显著提升各种最先进的量化感知训练方法的性能。
Teacher Intervention方法如何加速超低精度Transformer的量化感知训练？
Teacher Intervention是一种主动知识蒸馏方法，采用逐步干预机制来稳定恢复Transformer层的子节，从而快速收敛超低精度预训练Transformer的QAT并提高模型准确性。
GPTQ后训练量化方法有哪些鲁棒性和扩展性方面的优势？
GPTQ在权重选择、特征增强、校准集等方面具有鲁棒性，并提出了设计更高效、可扩展GPTQ方法的准则，以及基于重要性的混合精度技术，共同促进性能改进。
时间序列Transformer的量化感知训练中自适应量化方案有什么特点？
该方案在QAT阶段动态选择对称和非对称量化方案，匹配实际数据分布以减少计算开销并保持可接受精度，在真实数据和混合精度量化中具有鲁棒性，大部分对象量化为4位。
FXP卷积关键词检测模型的QAT技术如何降低执行时间？
FXP-QAT结合压缩权重分布和绝对余弦正则化，并针对瞬变变量采用QAT技术，可将模型精度降至4位而不降低准确性，推断阶段消除Q格式规范化并使用低比特累加器和最大内核SIMD，减少68%执行时间。
