AI导航

英伟达正式发布开放权重Nemotron 3.5模型:40种语言录音转文字,还能标出8位说话人

AI资讯
2 min read
0 次阅读

2026年10月28日,英伟达在 Hugging Face 发布开放权重语音模型 Nemotron 3.5 Transcribe。它把转录、说话人分离、翻译和录音问答装进同一个检查点:40种语言的录音能转成文字,其中31种可以与英语互译,13种语言支持区分说话人,单段录音最长1小时,最多标出8位说话人。模型已上架 Hugging Face 与 ModelScope,可用提示词决定输出形式。

对处理会议录音、采访和医疗口述的人来说,变化不在能不能转出来,而在转完还要不要再过一遍人工:谁说了哪句、术语有没有译错、能不能直接问录音里做了什么决定。这个模型把几步并到一次推理里,结果仍要对照录音抽查,说话人切换处尤其要查。

一个检查点,四种用法

同一段录音,换一句提示词就能得到不同结果:转录并标注说话人、译成英语、问这场会做了哪些决定。模型支持词级时间戳,方便定位原话;提示词里可先给术语表,如医疗场景声明 HbA1c、metformin 的写法,要求只在音频有依据时使用。录音问答只针对英语训练,动手前先查模型卡的任务语言矩阵。

榜单成绩要按口径读

成绩分属不同榜单,不能拼成总榜:Hugging Face Open ASR 英语榜上,它以5.33%的平均词错误率排开放权重模型第一;Artificial Analysis 榜上以2.8%的 AA-WER 并列第一,激活参数约40亿,对方约240亿;David AI 的21语言说话人分离榜上错误率最低,为18.26%。成绩未经独立复测。

数据集与微调是另一半发布

随模型一起发布的还有 Granary v2:公开清单覆盖463062小时、48种语言、16个来源语料,上一代为25种语言,配套的 NeMo Curator 流水线可以复用。医疗案例显示,提示词不够时再微调:在印度医生录音基准上,微调后词错误率相对最优提示词下降45.8%。

边界写在前面

这个模型只处理录音,不做直播转录;量化版本与本地 NeMo-Speech.cpp 部署尚未上线,当前检查点可用 vLLM 部署。100小时音频不到3分钟跑完,是英伟达在单块 RTX PRO 6000 Blackwell 上、用尚未发布的 NVFP4 量化版测得的吞吐,不能直接当作自家机器的承诺。适合录音后处理与本地转录,实时字幕要另找方案。

推荐工具

NVIDIA Chat with RTX AI聊天 Chat with RTX 是 NVIDIA 面向 RTX 电脑的本地 AI 聊天工具,可围绕本地文档和视频资料做问答,适合重视隐私、离线检索并具备硬件条件的用户更适合资料不便上传云 HuggingChat AI聊天 HuggingChat 是 Hugging Face 的开源模型聊天应用,支持 Omni 自动选模型,也可手动选社区开放模型对话。它适合体验开源模型、技术探索和问答,结果可能不稳定,重要内容需复核。 纳米AI搜索 AI搜索 纳米AI 是 360 旗下 AI 搜索和智能体入口,支持文字、语音、拍照提问、多模型协作与内容创作,适合中文用户做日常搜索、学习问答、移动查询、热点追踪、生活决策、知识整理和轻量创作。 Qwen Chat(通义千问) AI聊天 Qwen Chat 是Qwen 大模型聊天助手,支持Qwen 模型聊天、写作和编程问答,适合中文用户和开发者完成 AI 对话、资料问答和任务协作,适合上线前核对权限、成本和资料质量。 DuckDuckGo AI Chat AI聊天 DuckDuckGo AI Chat 适合重视隐私的普通用户使用,围绕隐私 AI 聊天、免账户使用和多模型问答提供对话式 AI 支持和任务协作能力,适合上线前核对权限、成本和资料质量。 Goody-2 AI聊天 Goody-2 是以极端安全和伦理对齐为特色的 AI 聊天助手,常用于观察模型拒答边界、内容安全策略、保守输出体验和 AI 风险讨论,更适合作为安全边界样本使用前应理解它偏实验性质,不适合。