BriefGPT - AI 论文速递
·
基于梯度的神经网络芯片上每权重混合精度量化
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文提出了一种在芯片上进行硬件感知的混合精度量化（OHQ）框架，通过构建在芯片上的量化感知管道（OQA）和基于掩码的量化估计（MQE）技术，实现了从硬件感知的混合精度量化。OHQ 在完全无需额外的计算设备和数据访问的情况下，对各种体系结构和压缩比率进行了量化推理，为 ResNet-18 和 MobileNetV3 分别实现了 70％和 73％的准确率，并且相较于部署中的 INT8，减少了 15～30％的延迟。
🎯
关键要点
- 提出了一种在芯片上进行硬件感知的混合精度量化（OHQ）框架。
- OHQ 通过量化感知管道（OQA）和基于掩码的量化估计（MQE）技术实现混合精度量化。
- 通过线性规划获得优化的位宽配置，结合网络和硬件的见解。
- OHQ 在无需额外计算设备和数据访问的情况下进行量化推理。
- 为 ResNet-18 和 MobileNetV3 实现了 70％和 73％的准确率。
- 相较于部署中的 INT8，OHQ 减少了 15～30％的延迟。
➡️
