基于遗传算法的针对门控循环单元的定制化混合精度次 8 位量化方案
内容提要
该文综述神经网络量化研究，通过低比特编码压缩权重与激活以减少内存并加速推理。方法涵盖LSTM、GRU、GAN及图神经网络，结合混合精度与数据无关量化，在少量精度损失下实现最高18.6倍压缩和显著加速。
延伸解读
量化在循环神经网络中的早期实践
文章回顾了2016年至2018年间针对LSTM和GRU的量化研究，重点在于对门控和互联结构进行量化，并平衡权重。这些方法在PTB和IMDB数据集上验证，相比之前的量化RNN，在减小存储和内存使用方面更优，并能加速训练和推理。这为后续更激进的低比特量化奠定了基础。
混合精度与数据无关量化的进展
文章提及了基于梯度下降的精细化量化、生成对抗网络的QGAN方法以及生成式低比特数据无关量化（GDFQ）。这些方法通过在不同结构或层次采用不同精度，或利用生成数据消除数据依赖，在压缩比和准确率之间取得更好平衡。例如，GDFQ在4位量化下精度显著高于现有数据无关方法。
图神经网络量化的突破
文章介绍了基于图神经网络特征的聚合感知混合精度量化方法（m A^2Q），通过学习自适应节点位宽实现模型压缩。在节点与图级别任务中，相比FP32模型可达18.6倍压缩比且精度几乎不降，相比最先进量化方法精度分别提升11.4%和9.5%，并在专用硬件上获得2倍加速。
Q&A
什么是次8位量化？
次8位量化是指将神经网络的权重和激活值量化为低于8位的精度，例如2位或3位，以减少内存占用和加速推理。
量化神经网络能带来多大的内存节省和推理加速？
根据文章，两位量化可实现约16倍的内存节省和约6倍的实际推理加速；三位量化下几乎不损失准确性，甚至可超越原始模型，同时节省约10.5倍内存和约3倍推理加速。
有哪些针对LSTM和GRU的量化方法？
文章提到一种量化LSTM和GRU细胞中的门和互联结构的方法，以及平衡量化权重的方法，在PTB和IMDB数据集上验证了有效性，能减小存储大小和内存使用，并加速训练和推理。
生成对抗网络（GAN）如何量化？
文章介绍了基于EM算法的QGAN方法，可将GAN量化为1/2比特表示，结果质量与原始模型相当，同时还提出多精度算法帮助找到最佳位数。
图神经网络量化有什么进展？
文章提到基于度量化的量化图神经网络，在六个数据集上验证，与FP32模型性能相当，INT4模型获得高达26%的增益；还有聚合感知混合精度量化方法（m A^2Q），可实现高达18.6倍压缩比，精度几乎不降低，并在节点和图级别任务中分别达到11.4%和9.5%的精度提升，以及2倍加速。
什么是数据无关量化？
数据无关量化是一种不依赖原始数据即可量化模型的方法，如生成式低比特数据无关量化（GDFQ），通过预训练模型中的分类边界知识和分布信息，利用知识匹配生成器生成有意义的虚假数据，从而消除数据依赖负担，在4位量化上精确性比现有数据无关量化方法高得多。
