英伟达推出可提示词控制的转写模型
内容提要
英伟达发布开源多语言转写模型Nemotron 3.5 Transcribe，在Hugging Face英语开放ASR榜居首，平均词错率5.33%。该模型支持提示词设定语境、说话人标注、音频问答、翻译及格式控制，覆盖40种语言，可处理一小时录音，但不支持实时流。其采用30B混合专家架构、40亿活跃参数，可在单GPU运行，并支持微调以降低错误率。
延伸解读
提示词控制：灵活性与模型规模的权衡
Nemotron 3.5 Transcribe 允许用户在转写前通过提示词设定语境、术语、说话人标注和格式，这有望降低特定场景的错误率。但代价是模型规模远大于传统转写模型：它采用30B混合专家架构，活跃参数40亿，而传统模型通常不到10亿参数。这种设计在提升可控性的同时，也意味着更高的部署资源需求，尽管英伟达称其可在单GPU上运行。
参数效率对比：与Voxtral的参照
在Artificial Analysis基准上，Nemotron的词错率为2.81%，与Voxtral Small的2.77%接近，但活跃参数仅约40亿，远低于后者的240亿。这表明英伟达在参数效率上具有优势。不过，该对比仅衡量准确率与活跃参数的关系，并未涉及运行时或内存需求，因此实际部署成本仍需结合硬件环境评估。
语言覆盖与功能边界
模型支持40种语言转写，其中31种可与英语互译，说话人标注覆盖13种语言，最多区分8个说话人。音频问答功能仅针对英语训练。它适用于最长一小时的录音，但不支持实时流，因此更适合离线转写场景。开发者可通过vLLM或NeMo-Speech.cpp本地运行，硬件支持从Jetson AGX Thor到Blackwell数据中心GPU。
微调潜力与数据工具
作为开放权重模型，用户可利用NeMo Speech等工具微调以降低错误率。英伟达的医疗转写案例显示，微调后词错率从最佳提示的22.44%降至12.17%，相对降低45.8%，完整适配流程在单块GB300上耗时约14 GPU小时。同时发布的Granary v2数据整理管道和约46.3万小时、48种语言的公开清单，可帮助开发者准备自有数据，但清单仅描述数据集发布，不代表模型完整训练混合。
Q&A
英伟达新发布的转写模型叫什么？主要特点是什么？
英伟达发布的是Nemotron 3.5 Transcribe，一个开源多语言转写模型。主要特点是支持提示词控制，用户可以在转写前设定语境、术语列表、说话人标注、音频问答、翻译及格式控制，覆盖40种语言，可处理一小时录音，但不支持实时流。
Nemotron 3.5 Transcribe在准确率上表现如何？
在Hugging Face英语开放ASR榜上排名第一，平均词错率5.33%。在Artificial Analysis基准上词错率2.81%，与Voxtral Small的2.77%接近，但活跃参数仅约40亿，远少于Voxtral Small的240亿。
这个模型支持哪些语言和功能？
支持40种语言转写，其中31种可与英语互译；说话人标注支持13种语言，最多区分8个说话人；音频问答仅英语训练。可处理最长一小时的录音，但不支持实时流式转写。
如何部署和运行Nemotron 3.5 Transcribe？
开发者可用vLLM服务化部署，或用NeMo-Speech.cpp在本地运行。模型可在单GPU上运行，支持硬件从Jetson AGX Thor、DGX Spark到Blackwell数据中心GPU。
这个模型可以微调吗？微调效果如何？
可以微调，采用OpenMDW-1.1开源许可证，使用NeMo Speech等工具。在医疗转写案例中，微调后将词错率从最佳提示的22.44%降至12.17%，相对降低45.8%，整个适配流程在单块GB300上约需14 GPU小时。
英伟达还发布了什么配套资源？
英伟达还发布了Granary v2，一个基于NeMo Curator构建的可复用数据整理流水线，以及覆盖48种语言、16个源语料库、约463,062小时的公开清单。开发者可在自己的录音上运行该流水线以准备定制数据。
