本文介绍了在自监督学习中，通过基于数据的单元发现在语音处理领域取得了新的进展。通过自蒸馏目标函数对预训练的HuBERT进行微调，并添加一个汇总整个句子的聚合器标记。实验结果显示，该模型在语音中画定了明确的边界，并且帧之间的表示显示出显著的音节结构。同时，提出了一个新的基准任务用于评估语音句子级表示。与先前的模型相比，该模型在无监督音节发现和学习句子级表示方面表现出色。

该文章介绍了一种基于原始旋律的汉语歌词生成模型，考虑了汉语音节结构和语义。使用多通道序列到序列模型，同时编码音节结构和语义。通过大规模汉语歌词语料库进行训练，并通过自动和人工评估验证了模型的有效性。