FlexiCodec：3-12.5Hz超低帧率动态音频编解码器
💡
原文中文，约2800字，阅读约需7分钟。
📝
内容提要
FlexiCodec是一种新型音频编解码器，支持低于10Hz的超低帧率，旨在提高语义信息的保留。通过动态帧率、ASR引导的语义和可控帧率，FlexiCodec在音频质量和处理速度上表现优异，适用于多种应用场景。
🎯
关键要点
- FlexiCodec是一种新型音频编解码器，支持低于10Hz的超低帧率。
- FlexiCodec旨在提高语义信息的保留，解决低帧率下信息丢失的问题。
- FlexiCodec的三个创新点包括动态帧率、ASR引导的语义和可控帧率。
- 动态帧率根据语音内容的复杂性自适应调整时间分辨率。
- ASR引导的语义利用预训练的自动语音识别模型提取更丰富的语义信息。
- 可控帧率允许用户在3Hz到12.5Hz之间调整输出帧率。
- FlexiCodec在灵活帧率TTS系统中表现优异，速度明显优于现有方法。
- FlexiCodec的双流编码器和动态帧率策略有效解耦语义和声学信息。
- 在极低帧率下，FlexiCodec在语义信息保留方面显著优于基线系统。
- FlexiCodec在音频质量指标上也表现出色，略优于基线。
- 动态帧率机制能够有效适应语音的音素复杂度。
- FlexiCodec在多种比特率下展现出先进的音频质量，具有竞争力。
- FlexiCodec在下游TTS任务中实现了显著的速度提升和高音质。
- 在音频理解任务中，FlexiCodec的表现优于大多数其他编解码器。
- 消融研究证实了ASR特征和Transformer在维护声学质量方面的关键作用。
- FlexiCodec在低帧率和低比特率语音编码方面展现出强大的性能，未来将探索多语言支持等方向。
➡️
