BriefGPT - AI 论文速递
·
FusDom: 结合领域内外知识进行持续自监督学习
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
本文介绍了一种名为稳定蒸馏的方法，用于持续预训练和提升目标领域自动语音识别（ASR）性能。该方法通过自蒸馏作为正则化方式，减轻了持续预训练中的过拟合问题。实验结果表明，稳定蒸馏在不同实验设置中胜过了所有基线方法，WER 提高了0.8-7个百分点。
🎯
关键要点
-
提出了一种名为稳定蒸馏的方法，用于提升目标领域自动语音识别（ASR）性能。
-
稳定蒸馏通过自蒸馏作为正则化方式，减轻了持续预训练中的过拟合问题。
-
该方法在有限的有标签和无标签数据下进行基于自监督预训练（SSL）的持续适应。
-
实验结果表明，稳定蒸馏在不同实验设置中胜过所有基线方法，WER 提高了0.8-7个百分点。
➡️
