基于低成本代理的混合精度自适应量化
内容提要
该文综述多种神经网络量化方法，包括网络正交性代理、APQ联合优化、EMQ进化搜索、HAQ强化学习、APTQ后训练量化、OHQ硬件感知及PalQuant并行低精度等，旨在降低延迟与能耗，保持精度，并在ImageNet等基准上验证有效性。
延伸解读
量化方法概览：从代理指标到硬件感知
文章综述了多种神经网络量化方法，包括基于网络正交性代理的量化、APQ联合优化、EMQ进化搜索、HAQ强化学习、APTQ后训练量化、OHQ硬件感知以及PalQuant并行低精度等。这些方法从不同角度解决量化中的精度与效率平衡问题，例如代理指标降低搜索成本，硬件感知优化实际部署延迟。
精度与效率的实证表现
在ImageNet等基准上，这些方法展示了有竞争力的结果。例如，基于网络正交性代理的方法在ResNet-18和MobileNetV2上分别达到72.08%和71.27%的Top-1准确率；APQ在更低延迟和能耗下达到与MobileNetV2+HAQ相当的准确性；OHQ在ResNet-18和MobileNetV3上分别实现70%和73%的准确率，并减少15-30%的延迟。
硬件感知与自动化趋势
多个方法强调硬件感知和自动化，如HAQ利用深度强化学习为不同神经网络和硬件架构确定最佳量化策略，OHQ通过芯片上的量化感知管道和基于掩码的量化估计实现硬件感知混合精度量化。这些方法旨在减少人工干预，自动适应多样化的硬件部署场景。
Q&A
网络正交性代理在量化中有什么作用？
网络正交性被用作网络量化的代理指标，通过线性规划优化该指标，可以降低搜索时间和数据依赖性，从而实现高效且准确的网络量化。在ResNet-18和MobileNetV2上分别实现了72.08%和71.27%的Top-1准确率。
APQ方法如何实现高效推理？
APQ通过联合优化神经架构、修剪策略和量化策略来处理大设计空间，并利用全精度准确度预测器向量化至量化准确度预测器以提高样本效率。在ImageNet上，它以更低延迟/能耗（降低2倍/1.3倍）获得与MobileNetV2+HAQ相当的准确性，比分别优化的方法准确率高2.3%，同时减少GPU时数和CO2排放。
EMQ框架是如何自动搜索量化代理的？
EMQ是一种自动搜索代理的框架，通过进化算法发现与混合精度量化最相关的代理，实现代理的自动生成。在ImageNet上的实验证明了其卓越性能。
HAQ如何为不同硬件确定最佳量化策略？
HAQ是一种基于深度强化学习的硬件感知自动量化框架，旨在为不同的神经网络和硬件架构确定最佳量化策略，以提高计算效率并在保持准确性的前提下减少延迟和能耗。通过硬件仿真器验证了其有效性。
APTQ后训练量化如何降低精度？
APTQ（关注感知的后训练混合精度量化）利用Hessian迹作为灵敏度指标，在大规模语言模型上进行混合精度量化，以在保持模型性能的前提下降低精度，并取得了优于以往量化方法的效果。
OHQ框架在芯片上如何实现混合精度量化？
OHQ是一种在芯片上进行硬件感知的混合精度量化框架，通过构建在芯片上的量化感知管道（OQA）和基于掩码的量化估计（MQE）技术，结合网络和硬件见解，通过线性规划获得优化的位宽配置。在无需额外计算设备和数据访问的情况下，为ResNet-18和MobileNetV3分别实现了70%和73%的准确率，并比INT8减少15-30%的延迟。
PalQuant方法如何提升量化性能？
PalQuant通过学习从头开始的并行低精度表示来逼近高精度计算，并使用循环洗牌模块提升并行低精度组之间的信息通信。与现有量化方法相比，PalQuant在精度和推理速度上具有优异性能。
