基于遗传算法的针对门控循环单元的定制化混合精度次 8 位量化方案
原文中文，约300字，阅读约需1分钟。发表于：。提出了一种用于 Gated Recurrent Units (GRU) 的模块化整数量化方案，通过遗传算法 (Genetic Algorithms) 优化 bit 宽度，以同时优化模型大小和准确性。在四个不同的顺序任务中，其混合精度解决方案在 Pareto 效率方面优于同质精度解决方案，实现模型大小减少 25% 至 55% 的同时，准确性与等效的 8 位同质模型可比。
本文介绍了一种基于梯度的后训练量化方法（GPTQ），用于深度神经网络的高效部署。该方法具有鲁棒性，并提出了设计更高效、可扩展的GPTQ方法的准则。同时，还提出了一种基于重要性的混合精度技术，促进了已有的GPTQ方法和网络的性能改进。
