MixQuant：混合精度量化与位宽优化搜索

BriefGPT - AI 论文速递 · 2023-09-29T00:00:00Z

该论文提出了一种混合精度搜索方法，通过可微分搜索算法和硬件感知优化算法来寻找特定硬件目标上的优化后的混合精度配置，以减少模型大小、延迟并保持统计准确性。该方法在 MobileNetV1 和 MobileNetV2 上进行了评估，在多核 RISC-V 微控制器平台上展示了与 8 位模型相比高达 28.6% 的端到端延迟降低，并在没有对子字节算术支持的系统上也能实现加速。同时，在减少二进制运算次数方面也表现出优越性。