HuBERTopic: 通过主题模型自我监督提升 HuBERT 的语义表示

该文介绍了一种新方法，使用主题模型为每个话语生成主题标签，并将其作为教师添加辅助的主题分类任务，以无监督的方式融入额外的全局语义信息。实验证明，该方法在大多数任务中实现了与基准方法相当或更好的性能，包括自动语音识别和8个超级任务中的5个任务。主题标签包含关于话语的各种信息，如性别、演讲者和主题，凸显了该方法在捕捉多方面语义细微差别方面的有效性。