稳定蒸馏：针对低资源自动语音识别的连续预训练正则化
原文中文，约500字，阅读约需2分钟。发表于：。通过自监督预训练（SSL）持续适应现有的 SSL 模型至目标领域已被证明对于资源稀缺的自动语音识别（ASR）非常有效。本文提出了一种简单而新颖的方法，称为稳定蒸馏，用于基于 SSL 的持续预训练，促进目标领域 ASR 性能的提升，其中有限的有标签和无标签数据。稳定蒸馏将自蒸馏作为持续预训练的正则化方式，减轻持续预训练在源领域与目标领域不同时所面临的过拟合问题。具体而言，首先，在目标领域...
本文介绍了稳定蒸馏方法，用于提升自动语音识别在目标领域的性能。该方法通过自蒸馏作为持续预训练的正则化方式，减轻了源领域与目标领域不同时的过拟合问题。实验结果表明，稳定蒸馏方法在不同实验设置中胜过了所有基线方法，WER 提高了0.8-7个百分点。
