BriefGPT - AI 论文速递 · 2023-09-05T00:00:00Z OHQ: 在芯片上的硬件感知量化 💡 原文中文，约400字，阅读约需1分钟。 📝 内容提要 本文介绍了一种在芯片上进行硬件感知的混合精度量化（OHQ）框架，通过构建量化感知管道和基于掩码的量化估计技术，实现了从硬件感知的混合精度量化。OHQ 在不需要额外计算设备和数据访问的情况下，对各种体系结构和压缩比率进行了量化推理，为 ResNet-18 和 MobileNetV3 分别实现了 70％和 73％的准确率，并且相较于部署中的 INT8，减少了 15～30％的延迟。 🏷️ 标签 OHQ 混合精度量化 硬件 硬件感知 芯片 量化推理 阅读原文 生成长图 分享链接 已复制链接
