BriefGPT - AI 论文速递 · 2023-12-20T00:00:00Z

稳定蒸馏：针对低资源自动语音识别的连续预训练正则化

📝

内容提要

本文介绍了稳定蒸馏方法，用于提升自动语音识别在目标领域的性能。该方法通过自蒸馏作为持续预训练的正则化方式，减轻了源领域与目标领域不同时的过拟合问题。实验结果表明，稳定蒸馏方法在不同实验设置中胜过了所有基线方法，WER 提高了0.8-7个百分点。

🏷️

标签

实验结果 目标领域 稳定蒸馏 自动语音识别 过拟合问题