快速 - HuBERT：用于无监督语音表示学习的高效训练框架

LightHuBERT是一种基于Transformer的压缩框架，可以自动找到所需的结构，成功地将嵌套数千个共享权重子网的基于Transformer的超网进行了设计。在ASR和五个SUPERB任务上，LightHuBERT表现优于原始的HuBERT，并在三个SUPERB任务中具有3.5倍的压缩比。同时，它可以实现29％的参数减少，并提供代码和预训练模型。