先看证据
转写的“正确格式”不再只能预先决定
NVIDIA 于 2026 年 10 月 28 日发布 Nemotron 3.5 Transcribe。这是一款面向语音转写的开放权重语音增强语言模型(SALM),支持 40 种语言和最长一小时的录音,目标是让开发者用同一个模型处理不同转写要求,而不是为每种格式另接一套工具。
改变的焦点在于转写规范。传统系统往往在训练或产品配置阶段就决定是否保留语气词、数字写成什么形式,以及输出要不要带说话人信息;但会议纪要、字幕和逐字稿需要的答案并不相同。Nemotron 3.5 把这些选择转成推理时的文本指令,可要求逐字稿、书面化文本、说话人归属、上下文词汇处理或翻译。它试图解决的不是“所有人都要同一份转写”,而是让一份音频能按用途生成不同文本。
把说话人信息送进生成过程
这套接口背后不是单一的语音识别器。16 kHz 音频先转换为 log-mel 特征,由可训练的 ASR 编码器处理;并行的说话人分离分支则使用冻结的 Sortformer 估计谁在何时说话,再把说话人活动信息每 80 毫秒融入 ASR 特征,最多支持 8 名说话人。这样,后续语言模型生成文本时,已经能看到与语音内容关联的说话人线索。
解码器采用 Nemotron 3.5 Lightning 混合 Mamba–Transformer MoE 骨干。模型卡所列完整检查点约有 34B 参数,其中约 4.3B 为激活参数;名称里的 30B 指语言模型骨干,并不等于整个检查点的参数总量。生成文本之后,CTC 适配器再把文本对齐到音频,提供词级时间戳;MTP 模块则可用于推测解码。换句话说,说话人归属和时间戳虽被纳入一套转写流程,却不是同一个机制:前者参与生成,后者在生成后对齐。
榜单成绩说明了优势,也划出了适用范围
NVIDIA 技术报告给出的英语结果,是 9 个公开测试集平均 WER 4.71%,略低于报告列出的下一名开放权重模型 Qwen3-ASR-1.7B 的 4.94%。多语言 Open ASR 的 7 种语言平均 WER 为 4.62%,同一材料中列出的开放模型对比值为 6.49%。这些数字支持它在开放权重模型中的竞争力,但不是全面领先的证明:报告列出的商业系统在英语榜单上达到 3.88%,多语言对比则为 3.56%。这些是不同榜单任务上的结果,不应混作一个总分。
在长音频和多人场景,报告分别给出 10.98% 的长音频 WER,以及整场多说话人转写 15.80% 的 cpWER,并列出了相应开放模型对比值 13.37% 和 16.83%。另一个更具体的信号来自 ContextASR-Bench:提供实体列表后,命名实体 WER 从 12.21% 降到 2.20%。这说明给出专名线索可能比寄希望于模型凭语言知识猜对更有效,但结果只说明该测试中的实体识别改善,不代表所有领域、词表质量和录音条件都会获得同样收益。上述分数来自 NVIDIA 自报的技术报告,评估落地效果时仍要对照自己的语料和任务。
开放权重不等于轻量部署
模型的活跃参数量容易让人误以为推理门槛很低,但硬件要求并不由这个数字单独决定。材料列出的 BF16 参考部署需要一张 80GB H100;另有 FP8 和约 21GB 的 NVFP4 权重,后者可在 RTX 5090 上运行。可用运行路径包括 vLLM、Hugging Face Transformers、SGLang-Omni 和 GGUF 对应的 NeMo-Speech.cpp。对团队而言,选择不只是“能不能加载模型”,还包括精度、显存、运行时支持和预期吞吐之间的取舍。
性能数字尤其要看清适用条件。NVIDIA 报告称,在 RTX PRO 6000 Blackwell Server Edition、NVFP4 和 DFlash2 等优化配置下,NIM 可处理每秒 2,238 秒音频,30 秒录音的转写返回时间为 0.13 秒;模型卡同时指出,这些服务优化尚未纳入开源推理实现。因而,不能把 NIM 的速度直接当成任何开放运行时都能达到的性能。开放权重给了团队自行部署的可能,但高吞吐服务栈与可复现的本地推理不是同一件事。
先核对音频条件,再决定是否收敛工具链
把 ASR、说话人分离和时间戳处理放进一个模型管线,确实可能减少多系统之间的接口协调;上下文实体列表也提供了一个明确的适配入口。但整合并没有让误差消失:说话人信息先进入生成过程,时间戳由后续适配器对齐,任何一环的错误都可能影响下游使用。若现有流程把识别、对齐和人工校订拆开,也要比较单模型流程是否仍满足各环节的质量要求,而不能只看工具数量是否减少。
中文远场会议尤其不宜只凭“支持 40 种语言”做判断。材料列出的 AliMeeting 普通话远场会议 cpCER 为 34.95%,是明显的风险信号;它与英语和多语言榜单的平均 WER 不是同一指标,不能直接横向换算,却足以提醒团队按自身录音环境单独验收。较稳妥的判断是:如果目标是用指令切换转写风格,并在自己的语料上验证说话人标签、专名和时间戳,Nemotron 3.5 值得进入候选;如果核心场景是中文远场会议,或上线依赖未经开放实现验证的吞吐,先做针对性评测和硬件核算,再考虑替换现有管线。