苹果设备端听写依赖神经音频编码器作为分词器,其参数量影响内存、功耗与延迟。研究提出潜空间蒸馏压缩法:以量化前的潜表示为目标,仅训练学生编码器回归教师逐帧潜表示,并用仿射层对齐宽度。2.8倍压缩下,六组师生中五组相对WER仅差1.9%,优于同容量独立训练编码器3.9%。
完成下面两步后,将自动完成登录并继续当前操作。