实时互动网
·
Stability AI 推出 ARC 后期训练和 Stable Audio Open Small：无蒸馏实现跨设备文本转音频生成的突破
内容提要
文本转音频生成技术通过对抗性相对对比损失（ARC）实现高效合成，显著提升生成速度，适用于移动设备。Stable Audio Open Small模型优化推理过程，支持实时应用，提升音频质量和多样性。
关键要点
-
文本转音频生成技术通过对抗性相对对比损失（ARC）实现高效合成。
-
ARC 方法显著提升生成速度，适用于移动设备。
-
Stable Audio Open Small 是专为资源受限环境设计的紧凑高效模型。
-
ARC 通过整合相对对抗性损失和对比鉴别器损失，减少生成步骤。
-
在 H100 GPU 上，ARC 能在 75 毫秒内生成 12 秒的音频。
-
ARC 的 CLAP 条件多样性得分为 0.41，表现出色。
-
主观评估中，ARC 的多样性得分为 4.4，质量得分为 4.2。
-
乒乓采样技术提高了输出质量并减少推理步骤。
-
Stable Audio Open Small 支持 497M 参数和 8 步生成，适合移动部署。
-
在 Vivo X200 Pro 上，推理延迟从 15.3 秒降至 6.6 秒，内存使用量减少一半。
-
ARC 和 SAO Small 为音乐、游戏和创意工具提供实时解决方案。
-
研究为将响应式生成音频工具集成到日常创意工作流程奠定基础。
延伸解读
ARC 方法的优势
ARC 后训练方法通过整合相对对抗性损失和对比鉴别器损失，显著提高了文本转音频生成的效率。这种方法不仅减少了生成步骤，还避免了传统蒸馏方法的高计算成本，使得在移动设备上实现实时音频生成成为可能。
Stable Audio Open Small 的应用前景
Stable Audio Open Small 模型专为资源受限环境设计，适合移动设备的音频生成需求。其在 Vivo X200 Pro 上的推理延迟显著降低，内存使用量减少，使其在音乐、游戏和创意工具等领域的应用前景广阔，尤其是在需要快速响应的场景中。
多样性与质量的平衡
ARC 方法在多样性和音频质量上表现出色，其 CLAP 条件多样性得分为 0.41，主观评估中多样性得分为 4.4。这表明，ARC 不仅能快速生成音频，还能保持高水平的输出质量，适合需要丰富音频内容的创意应用。
延伸问答
ARC 方法如何提升文本转音频生成的速度？
ARC 方法通过整合相对对抗性损失和对比鉴别器损失，减少生成步骤，从而显著提升生成速度。
Stable Audio Open Small 模型的特点是什么？
Stable Audio Open Small 是一个紧凑高效的模型，专为资源受限环境设计，支持497M参数和8步生成，适合移动部署。
ARC 在移动设备上的表现如何？
在移动设备上，ARC 能在约7秒内生成12秒的音频，推理延迟显著降低。
乒乓采样技术的作用是什么？
乒乓采样技术通过交替的去噪和重噪循环来优化音频输出，提高输出质量并减少推理步骤。
ARC 的多样性和质量评分如何？
ARC 的多样性得分为4.4，质量得分为4.2，表现出色。
ARC 方法与传统蒸馏方法相比有什么优势？
ARC 方法避免了蒸馏和 CFG 的依赖，提供了更高的生成速度和多样性，同时不牺牲输出质量。
