语音基础模型HuBERT通过无标签语音数据预训练,采用掩码预测目标学习信息。预测目标的选择影响下游任务表现,细粒度声学特征模型在去噪任务中表现优异,而高层次抽象模型适合内容相关任务。尽管预测目标重要,但相关设计选择尚未深入研究。本文探讨这些设计选择及其对下游任务的影响,提出更具信息性的预测目标,并展示其在多项任务中的有效性。
完成下面两步后,将自动完成登录并继续当前操作。