BriefGPT - AI 论文速递
·
稳定蒸馏：针对低资源自动语音识别的连续预训练正则化
💡
原文中文，约500字，阅读约需2分钟。
📝
内容提要
本文介绍了稳定蒸馏方法，用于提升自动语音识别在目标领域的性能。该方法通过自蒸馏作为持续预训练的正则化方式，减轻了源领域与目标领域不同时的过拟合问题。实验结果表明，稳定蒸馏方法在不同实验设置中胜过了所有基线方法，WER 提高了0.8-7个百分点。
🎯
关键要点
- 本文介绍了稳定蒸馏方法，用于提升自动语音识别在目标领域的性能。
- 稳定蒸馏通过自蒸馏作为持续预训练的正则化方式，减轻了源领域与目标领域不同时的过拟合问题。
- 该方法在目标领域 ASR 数据集上对初始 SSL 预训练模型执行持续预训练，并将其称为教师。
- 相同的初始预训练模型作为学生，执行持续预训练，强制其隐藏表示与教师的表示接近。
- 实验结果表明，稳定蒸馏方法在不同实验设置中胜过了所有基线方法，WER 提高了0.8-7个百分点。
➡️
