StableQuant: Layer-wise Adaptive Post-Training Quantization for Speech Foundation Models
原文英文,约100词,阅读约需1分钟。
📝
内容提要
本研究提出了一种新颖的自适应后训练量化算法StableQuant,显著优化了语音基础模型的量化性能。该算法将模型尺寸缩小至四分之一,并在8位量化下保持字错误率低于0.3%,同时提升推理速度。
🏷️