BriefGPT - AI 论文速递
·
快速 - HuBERT：用于无监督语音表示学习的高效训练框架
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
LightHuBERT是一种基于Transformer的压缩框架，可以自动找到所需的结构，成功地将嵌套数千个共享权重子网的基于Transformer的超网进行了设计。在ASR和五个SUPERB任务上，LightHuBERT表现优于原始的HuBERT，并在三个SUPERB任务中具有3.5倍的压缩比。同时，它可以实现29％的参数减少，并提供代码和预训练模型。
🎯
关键要点
-
LightHuBERT是一种基于Transformer的压缩框架。
-
该框架通过剪枝结构化参数自动找到所需的结构。
-
成功设计了嵌套数千个共享权重子网的基于Transformer的超网。
-
使用两阶段蒸馏策略从HuBERT中利用上下文化的潜在表征。
-
在自动语音识别（ASR）和SUPERB基准测试上表现优于原始HuBERT。
-
LightHuBERT实现了超过10亿种结构，深度，宽度，注意力维度等。
-
在三个SUPERB任务中具有3.5倍的压缩比。
-
可以实现29%的参数减少，且提供代码和预训练模型。
🏷️
标签
➡️
