基于遗传算法的针对门控循环单元的定制化混合精度次 8 位量化方案

BriefGPT - AI 论文速递 · 2024-02-19T00:00:00Z

本文介绍了一种基于梯度的后训练量化方法（GPTQ），用于深度神经网络的高效部署。该方法具有鲁棒性，并提出了设计更高效、可扩展的GPTQ方法的准则。同时，还提出了一种基于重要性的混合精度技术，促进了已有的GPTQ方法和网络的性能改进。