NVIDIA 发布 Nemotron 3 Diarization：一个拥有 1 亿个参数的开放式权重模型，可实时追踪 8 个说话者
内容提要
NVIDIA在Hugging Face发布开源说话人分离模型Nemotron 3 Diarization，1亿参数，最多追踪8位说话人，支持重叠语音，单检查点兼顾离线与实时流式。采用31层Transformer编码器，输出每位说话人活跃概率，延迟分四档，最低0.32秒。在Voice Arena基准排名第一，DER为14.72%，较前代平均降低41%。权重以OpenMDW 1.1发布，允许商用，经NeMo在NVIDIA GPU运行。
延伸解读
从4人到8人：说话人分离的容量升级
相比NVIDIA早先的Streaming Sortformer仅支持4位说话人，Nemotron 3 Diarization将上限翻倍至8人，并明确针对多人同时开口的杂乱音频。这意味着在会议、圆桌讨论等场景中，系统能区分更多发言者，减少因人数超限导致的归属错误。但模型输出的是匿名标签，需下游应用映射到真实身份，实际部署时需考虑身份绑定环节。
延迟与精度的权衡：四档配置怎么选
模型提供四档延迟配置，缓冲延迟从30.4秒到0.32秒不等。离线模式DER最低（12.73%），超低延迟模式DER升至13.55%，差距约0.82个百分点。若应用对实时性要求极高，可选0.32秒档，但需注意该延迟不含计算、网络和ASR耗时，实际端到端延迟会更高。官方推荐0.32秒为最低配置，技术上虽可80毫秒运行，但可能影响稳定性。
基准第一，但需留意评测状态与个别回退
在Voice Arena初始Diarization-Bench中，模型以14.72%的DER在12个系统中排名第一，比第二名低约24%。但NVIDIA指出，待Voice Arena完成Version 1评测后结果可能变化。此外，在30.4秒的2说话人CALLHOME场景下，DER从5.68%微升至5.98%，说明并非所有场景都绝对提升。读者应结合自身音频类型评估，而非仅看总体排名。
商用许可与运行门槛
权重以OpenMDW License 1.1发布，允许商业使用，但模型需通过NVIDIA NeMo在Linux上运行，且要求Ampere、Ada Lovelace、Hopper或Blackwell GPU。这意味着非NVIDIA GPU用户无法直接部署，且需熟悉NeMo工具链。吞吐数据基于RTX PRO 5000和批处理，单流应用延迟可能不同，实际集成时需测试目标硬件上的表现。
Q&A
NVIDIA Nemotron 3 Diarization 是什么？
NVIDIA 在 Hugging Face 上发布的开源权重说话人分离模型，拥有 1 亿参数，最多可追踪 8 位说话者，包括声音重叠的情况。单个检查点同时适用于离线录音和实时流式场景。
Nemotron 3 Diarization 能同时处理多少个说话人？
最多可追踪 8 位说话人，包括声音重叠的情况。相比之前的 Streaming Sortformer 检查点（支持 4 位说话人），上限翻倍。
Nemotron 3 Diarization 的延迟配置有哪些？
提供四档延迟运行点：离线模式缓冲延迟 30.4 秒，低延迟 1.04 秒，极低延迟 0.64 秒，超低延迟 0.32 秒。0.32 秒是最低推荐配置。
Nemotron 3 Diarization 在基准测试中的表现如何？
在 Voice Arena 的初始 Diarization-Bench 中排名第一，DER 为 14.72%，而排名第二的系统为 19.3%。与 4 说话人基线相比，在 1.04 秒延迟下，8 项评测场景的 DER 平均降低 41.0%。
Nemotron 3 Diarization 的架构是怎样的？
采用 31 层 Transformer 编码器，使用旋转位置嵌入（RoPE）。输入 16 kHz 单声道音频，转换为 10 ms 步长的梅尔频谱特征，再按 8 倍堆叠产生 80 ms 编码器帧。输出为 [T, 8] 张量，表示每位说话人的活跃概率。
Nemotron 3 Diarization 可以商用吗？
可以。权重以 OpenMDW License 1.1 发布，允许商业使用。在 Linux 上通过 NVIDIA NeMo 运行，可使用 Ampere、Ada Lovelace、Hopper 或 Blackwell GPU。
