🌀 AIBB-Flywheel

新闻数据飞轮
← 返回文章列表
ithome 时政 科技 娱乐 采集 2026-10-29T10:15:58+00:00

英伟达开源Nemotron 3.5转录模型

原始标题:英伟达开源最强转录 AI 模型 Nemotron 3.5 Transcribe:支持 40 种语言,8 人抢话也能精准转录

来源
ithome
发布时间
2026-10-29T07:31:29
采集批次
2026-10-29-10
字数
931
URL 指纹
e38bded6118fa83d

📌 AI 总结(224 字)

英伟达推出开放权重语音转录模型Nemotron 3.5 Transcribe及训练数据管线Granary v2。该模型采用混合专家架构,总参数约340亿,支持40种语言、最长1小时音频和最多8名说话人标注,可在多人抢话时同步生成分角色字幕;其英语词错误率、说话人分离表现均居开源模型前列。模型已在Hugging Face和ModelScope免费开放,Granary v2则覆盖48种语言、46万余小时音频,为语音识别、翻译及指令微调提供数据支持。
📄 正文(931 字)
英伟达宣布推出开放权重语音转录模型Nemotron 3.5 Transcribe,并同步公开训练数据管线Granary v2。前者面向会议纪要、课堂录像、访谈整理和多语言客服等应用,后者用于整理和加工多语言语音训练数据。

Nemotron 3.5 Transcribe整合了语音转录、说话人归属、翻译和音频问答功能。模型采用混合专家架构,总参数量约340亿,激活参数量约43亿,可处理最长1小时的录音。它支持40种语言,其中31种语言可与英语互译;在说话人识别方面,最多可区分8名说话人,并支持13种语言的说话人标注。

模型的主要特点是处理多人同时发言的场景。它在生成转录文本的同时为每段发言标注说话人。官方演示显示,即使面对1940年电影《他的女友礼拜五》中语速较快且大量重叠的对白,模型仍能按角色生成字幕。

公开评测显示,Nemotron 3.5 Transcribe在Hugging Face Open ASR Leaderboard英语组的平均词错误率为5.33%,位居开放权重模型第一。在Artificial Analysis非流式词错误率指数中,其成绩为2.8%,与Voxtral Small Transcribe并列开源模型首位。其说话人归属表现也创下David AI的21种语言说话人分离基准最低错误率,为18.26%。

该模型已在Hugging Face和ModelScope免费开放,采用OpenMDW-1.1许可证。英伟达预计后续发布量化版本,以便在RTX Spark、DGX Spark和Jetson AGX Thor等本地设备上运行。

Granary v2是英伟达面向多语言语音模型构建的开放训练数据整理管线与数据集。它能够把原始音频或已有标注的音频加工为转录文本、翻译内容、字幕、问答和指令对,可用于语音识别、语音翻译及语音指令模型微调。

此次公开的数据清单覆盖463062小时音频、48种语言和16个源语料库,语言数量较Granary v1的25种明显扩展。对于同一段录音,系统至少可生成三种转录变体:保留口语不流畅表达并规范数字的逐字稿、还原口语数字但保留不流畅表达的版本,以及去除不流畅表达、呈现整洁书面文本的版本。