实时互动网
·
NVIDIA 发布 Audex (Nemotron-Labs-Audex-30B-A3B)：一种统一的音频-文本大语言模型
内容提要
NVIDIA 发布了 Audex，这是一个统一的音频-文本大型语言模型，具备理解和生成音频及语音的能力，同时保持文本智能。Audex 采用 30 亿参数的 MoE 结构，设计简洁，避免了多模态模型的性能退化，在文本和音频任务中表现优异，尤其在语音识别领域领先。尽管存在商业许可限制和音频理解能力不足等缺点，Audex 仍在多项任务中表现出色。
关键要点
-
NVIDIA 发布了 Audex，这是一个统一的音频-文本大型语言模型，具备理解和生成音频及语音的能力。
-
Audex 采用 30 亿参数的 MoE 结构，设计简洁，避免了多模态模型的性能退化。
-
Audex 在文本和音频任务中表现优异，尤其在语音识别领域领先，平均词错误率为 6.82%。
-
尽管存在商业许可限制和音频理解能力不足等缺点，Audex 仍在多项任务中表现出色。
-
Audex 的训练过程采用多阶段 SFT，避免了文本质量下降的问题，数据量庞大，涵盖多种任务。
延伸解读
Audex 的设计优势
Audex 采用了简洁的 MoE 结构，避免了多模态模型常见的性能退化问题。这使得它在处理音频和文本任务时，能够保持较高的准确性，尤其在语音识别领域表现突出。设计上的简化也使得 Audex 能够在标准 LLM 协议栈上运行，提升了其应用的灵活性和效率。
应用场景与潜在限制
Audex 的多功能性使其适用于多种应用场景，如多语种呼叫中心和辅助功能工具。然而，NVIDIA 的非商业许可限制了其在商业用途上的应用。此外，尽管在语音识别方面表现优异，但在音频理解能力上仍有待提升，尤其是在 MMAR 和 MMSU 测试中表现不佳。
训练过程的创新
Audex 的训练过程采用多阶段 SFT 方法，逐步引入音频特征，避免了文本质量下降的问题。这种创新的训练策略不仅提升了模型的整体性能，还确保了在音频任务上的表现不会影响到文本任务的准确性。
延伸问答
Audex 是什么类型的模型？
Audex 是一种统一的音频-文本大型语言模型，能够理解和生成音频及语音，同时保持文本智能。
Audex 的参数结构是什么样的？
Audex 采用 30 亿参数的 MoE 结构，每个 token 激活 3 亿个参数。
Audex 在语音识别领域的表现如何？
Audex 在 OpenASR 排行榜上的平均词错误率为 6.82%，在开源模型中处于领先地位。
Audex 的训练过程是怎样的？
Audex 的训练采用多阶段 SFT，包括文本 SFT、音频预热、音频生成和音频理解。
Audex 存在什么缺点？
Audex 存在商业许可限制和音频理解能力不足等缺点，尤其在 MMAR 和 MMSU 测试中表现不佳。
Audex 可以应用于哪些场景？
Audex 可用于多语种呼叫中心、辅助功能工具、声音设计和语音助手等场景。
