WavTokenizer：高效的音频离散编码器标记器
内容提要
本研究首次证明了通过语音音频学习强大表征并在转录语音上微调的可行性，超越了半监督方法。提出的AudioLM框架将音频生成视为语言建模任务，能够生成自然连贯的音频。研究还介绍了TokenSplit模型用于语音分离，表现出色。SpeechTokenizer在语音合成中表现优异，SemantiCodec则以低比特率压缩音频，提升重构质量和语义信息。
延伸解读
音频离散编码的技术演进
文章梳理了从2020年到2024年音频离散编码器的发展脉络，包括AudioLM、TokenSplit、SpeechTokenizer、SemantiCodec等模型。这些工作逐步将音频生成、分离、压缩等任务统一到离散标记框架下，并探索语义标记与声学标记的融合。读者可从中看到该领域从单一任务向通用表示学习的演进趋势。
语义标记与压缩标记的权衡
文章提到，语义标记在大多数任务中表现优于压缩标记，但语义标记与连续表示之间仍存在性能差距。这意味着离散化虽带来效率与通用性，却可能损失部分信息。对于实际应用，需根据任务需求在压缩率、重构质量和语义丰富度之间做出权衡。
低比特率压缩的突破与局限
SemantiCodec能以每秒少于一百个标记的极低比特率压缩音频，同时提升重构质量和语义信息。这为音频存储与传输带来新可能，但文章也指出，离散标记与连续表示的性能差距尚未完全消除，且部分模型（如WavLM与BEST-RQ结合）在特定任务上表现不佳，提示技术路线仍需优化。
Q&A
WavTokenizer的主要功能是什么？
WavTokenizer主要用于高效的音频离散编码，能够将音频信号转换为离散的标记序列。
AudioLM框架如何生成音频？
AudioLM框架通过将输入音频映射为离散令牌序列，并将音频生成视为语言建模任务，从而生成自然连贯的音频。
TokenSplit模型的应用是什么？
TokenSplit模型用于语音分离，能够实现多任务训练，包括分离和转录每个语音源。
SpeechTokenizer在语音合成中的表现如何？
SpeechTokenizer在语音重构和零样本语音合成任务中表现优异，具有显著优势。
SemantiCodec的特点是什么？
SemantiCodec能够以低比特率压缩音频，提升重构质量和语义信息。
WavTokenizer在音频处理中的局限性是什么？
WavTokenizer在处理原始音频波形和频谱图时可能存在性能偏差，影响其在文本到语音模型中的表现。
