NVIDIA开源可提示语音转录模型
推荐指数 70.0 NO. 017 · 2026.10.29
发布2026/10/28Score93Comments16
简介
NVIDIA 发布 Nemotron 3.5 Transcribe，单一开源模型支持 40 种语言的语音识别、说话人分离、翻译和音频问答，并配套 Granary v2 数据管道与微调方案。对需要处理多语言会议、医疗口述等场景的工程师，这意味着可以用提示词直接控制输出格式，无需为不同任务拼接多个专用模型。
编辑判断
当前开源 ASR 生态高度碎片化：Whisper 负责转录、PyAnnote 做说话人分离、再用单独模型做翻译，管线复杂且难以定制领域术语。Nemotron 3.5 Transcribe 把这一切塞进一个可提示模型，并且开放权重和微调链路，这直接对标 OpenAI 的 Whisper API 但给了企业私有化部署和领域适配的自由度。
真正值得留意的是 Granary v2 数据管道——NVIDIA 罕见地把数据工程方法论也开源了。之前社区复现 Whisper 级别效果最大的门槛不是模型结构，而是高质量多语言音频数据的去噪和标注流程。如果你在医疗、法律等垂直场景做语音应用，这套 pipeline 比模型本身更能缩短落地周期。
建议行动：用 Hugging Face 上的 demo 测试你的场景下提示词控制输出格式的稳定性，特别是说话人切换频繁的长音频，这是 Whisper 系列一直处理得不够干净的场景。
社区反馈
意见分歧 15 条评论
核心争论：NVIDIA 开源模型功能全面但实测质量不及专用模型，是否值得用
From the model card, this supports near-field only speaker transcription, experimental but still something not available in any other OSS Speech LLM.
You can use fast transcription on CPU these days, for free and with diarization. Check yapsnap https://github.com/kouhxp/yapsnap
how is this related with the main topic? also it seems your project (by your bio), it would be nice to disclose it as this is self-promotion.