NVIDIA 发布 NemotronLabs VoiceChat 11B：一款开放式全双工语音对语音模型
内容提要
NVIDIA发布开源11B端到端语音模型NemotronLabs VoiceChat 11B，支持实时全双工对话，延迟仅448毫秒，可插话和调用工具。需80GB GPU，仅供研究，未用于生产。在基准测试中表现优异，但存在音频时长限制和语音降级等问题。
延伸解读
部署门槛与适用场景
该模型需要至少一块80GB显存的GPU（如A100、H100等），且目前没有托管API，因此评估门槛较高。适合具备GPU资源的AI初创公司、企业研发实验室、GPU云服务商及学术团队。应用场景包括联络中心、车载助手、零售点餐、电信IVR、游戏NPC对话等，但需注意其仅供研究用途，尚未用于生产环境。
全双工交互与工具调用的创新
模型采用端到端架构，支持实时全双工对话，用户可随时插话，接管率在480毫秒时达到1.00。工具调用通过侧信道输出，并配合操作员定义的“保持”语音提示避免沉默。但每个会话最多使用五个工具，无法可靠并行调用多个工具，且工具执行期间用户无法打断代理，这些限制在实际部署中需特别关注。
已知限制与性能权衡
尽管在基准测试中表现优异，但模型存在明显局限：音频上下文时长上限两分钟，几轮后语音可能降级为乱码，回合结束后会出现自言自语，用户转录可能丢失单词。这些故障模式意味着在长对话或高可靠性场景中可能不适用，评估时需结合具体需求权衡性能与稳定性。
Q&A
NVIDIA 发布的 NemotronLabs VoiceChat 11B 是什么？
NemotronLabs VoiceChat 11B 是 NVIDIA 发布的一款开源的 11B 端到端语音模型，支持实时全双工对话，无需串联 ASR、LLM 和 TTS，而是统一网络完成流式语音理解和生成。
NemotronLabs VoiceChat 11B 的延迟是多少？
在 Full-Duplex-Bench 1.0 测试中，平滑轮流发言延迟为 448 毫秒，用户中断接管率在 480 毫秒时达到 1.00。
NemotronLabs VoiceChat 11B 支持哪些功能？
支持实时全双工对话、用户插话、工具调用（通过侧信道输出<TOOLCALL>脚本），并配合操作员定义的保持语音提示避免沉默。
NemotronLabs VoiceChat 11B 的架构组成是什么？
采用混合 Mamba/Transformer 架构，由 Conformer 语音编码器、Nemotron Nano v2 LLM 主干、TTS 解码器和独立的工具调用输出通道组成。
NemotronLabs VoiceChat 11B 有哪些限制？
音频上下文时长上限为两分钟，几轮后语音降级为乱码，回合结束后可能自言自语，用户转录中可能丢失单词；每个会话最多五个工具，无法可靠并行调用多个工具，工具执行期间用户无法打断代理。
部署 NemotronLabs VoiceChat 11B 需要什么硬件？
需要至少一块配备 80 GB 显存的 GPU（如 A100、H100、RTX 6000 Pro 或 B200），运行于 x86_64 Linux 系统。
NemotronLabs VoiceChat 11B 是否可用于生产环境？
目前仅供研究用途，未用于生产环境。权重和容器已公开，但无托管 API。
NemotronLabs VoiceChat 11B 在基准测试中的表现如何？
在 VoiceBench 和 Full-Duplex-Bench 1.0 上均排名第 2（开源全双工模型）；在 AU Harness BFCL-v3 语音工具调用测试中平均准确率为 56.1%。
