快速 - HuBERT：用于无监督语音表示学习的高效训练框架
原文中文，约400字，阅读约需1分钟。发表于：。近年来，自我监督学习方法在语音处理任务中取得了显著进展。本文提出了一种名为 Fast-HuBERT 的高效优化方法，通过分析 HuBERT 预训练的计算成本并引入一系列效率优化，实现了与原始实现相比，无性能降低、在 Librispeech 960h 基准上训练时间为 1.1 天、速度提升 5.2 倍的效果。此外，我们在 Fast-HuBERT 中探索了两种技术，并展示了与之前工作相一致的改进效果。
LightHuBERT是一种基于Transformer的压缩框架，可以自动找到所需的结构，成功地将嵌套数千个共享权重子网的基于Transformer的超网进行了设计。在ASR和五个SUPERB任务上，LightHuBERT表现优于原始的HuBERT，并在三个SUPERB任务中具有3.5倍的压缩比。同时，它可以实现29％的参数减少，并提供代码和预训练模型。
