source preview
source preview 查看原始材料 ↗
Hugging Face Open ASR English Open (2) Leaderboard table showing model rankings on the Hugging Face English Open ASR leaderboard, with columns for rank, model, average WER, RTFx, and dataset scores. nvidia/Nemotron-3.5-Transcribe is ranked
Hugging Face Open ASR English Open (2) Leaderboard table showing model rankings on the Hugging Face English Open ASR leaderboard, with columns for rank, model, 查看原始材料 ↗
ArtificialAnalysis-WER vs Model Size (Open Weights) (22 Oct
ArtificialAnalysis-WER vs Model Size (Open Weights) (22 Oct 查看原始材料 ↗

先看证据

转写覆盖40种语言地区,档位并非全都开箱即用关键事实
可处理最长1小时录音,最多标注8位说话人关键事实
31种语言支持与英语互译;13种支持说话人归属关键事实
240路并发单H100、80ms设置
2400路并发单H100、1.12秒设置
10.38%至8.84%FLEURS 19种就绪语言平均WER

把机制串起来

输入先把素材压到可处理的规模

WER 是转写错误率,适合比较识别文本,但不能单独衡量说话人标签、翻译或问答质量;不同语言、数据集和延迟设置下的 WER 也不能直接横比。说话人分离回答“谁在什么时候说话”,不等于识别说话人的真实身份;重叠对话会让它更难。提示词可以引导输出任务和格式,但提示里写了专业术语不代表模型就能听准,仍要用领域数据验证。

机制再把计算集中到关键步骤

使用者可用自然语言指示转写、说话人标记、翻译或音频问答,并按需要求时间戳和书写格式;但各任务的语言覆盖并不相同,音频问答据模型卡为英语训练。对流式 ASR,公开模型卡描述了 Cache-Aware FastConformer-RNNT:FastConformer 编码音频,RNNT 逐步生成文本,并复用注意力层与卷积层缓存,减少重叠音频块的重复计算。模型卡所说的语言提示主要是语言 ID 条件,不应据此推断任意自然语言提示都能直接指定词汇;提示词控制与领域微调是两层能力。提示不

结果最后落到可验证的工作结果

['先用术语提示试跑,术语须有音频依据并人工抽查', '医疗等高风险场景用独立说话人测试集验证微调收益', '低延迟选短块,高准确率优先时比较较长块配置', '重叠对话、专名和说话人切换务必回听核验']

一段录音,开始承担不止一种工作

NVIDIA 在 Hugging Face 发布了 Nemotron 3.5 Transcribe,并介绍了配套的 Granary v2 多语言数据与可复用的数据整理流程。它面向的不是单纯把语音变成文字,而是会议、课堂或专业口述中更具体的问题:谁说了什么、如何翻译、术语怎样写,以及用户能否直接向录音提问。模型以开放权重形式提供,目标是让这些工作共享一个可提示、可适配的语音入口。

这次变化值得技术负责人读,不是因为任务清单变长就代表语音识别问题已经解决,而是输出开始从“逐字稿”转向“可供下游系统使用的文本”。同一段音频可以被要求保留原语言、标出说话人,或转成另一种格式。这个接口更灵活,也让错误的形态变多:转写漏词、说话人归属错、翻译偏差和问答臆断,不能再用一个总体准确率概括。

一个检查点,不等于每项能力同样成熟

NVIDIA 给出的任务范围很宽:模型可转写 40 种语言,将其中 31 种翻译为英语或从英语翻译,并为 13 种语言提供说话人归属。它支持最长一小时的录音,最多标注八位说话人。把这些功能放进同一检查点,确实能减少团队拼接多个模型的工作,也让一次录音有机会直接生成更完整的文本结果。

但这些数字分别对应不同任务,不能合并成“40 种语言都能完成所有工作”。相关 Nemotron 3.5 ASR 模型卡把语言地区分为 19 个转写就绪、13 个广覆盖和 8 个需要微调的适配就绪地区;音频问答则以英语训练。Transcribe 文章也明确指出任务支持会随语言而异。部署前应逐项核对目标语言的转写、翻译、说话人标注和问答能力,而不是从一项任务的语言数推断整套功能都已覆盖。

提示词能改变输出,但不是任意词汇开关

Transcribe 的自然语言提示提供了一个低成本的控制入口。文章举例要求模型转录医疗讨论,并把 HbA1c、metformin 作为可能术语,同时要求只有在音频支持时才使用这些词,保留标准医学拼写,并按常规书写数字。这样的约束适合先处理格式和上下文问题,也避免把提示词误用成强行覆盖录音内容的词表。

提示不能替代核验。模型支持词级时间戳,能够把转写与录音中的时间位置对应起来,Agora 的课堂演示也将转写与回放并排呈现。但名称、说话人切换和音频问答仍应回听抽查。尤其要区分 Transcribe 文章展示的自然语言指令,与相关流式 ASR 模型卡中的 `target_lang` 语言条件。现有材料并不能证明两者采用相同机制,不能据此假设模型可以通过任意提示稳定注入任意术语。

榜单领先与领域收益,证据各有适用范围

目前披露的基准结果为模型提供了有用的定位,但每个成绩都要放回自己的测试条件。NVIDIA 称,Transcribe 在 Hugging Face Open ASR Leaderboard 的英语轨道上,是开放权重模型中排名第一,平均词错误率为 5.33%。在模型卡的多语言比较中,它在七种语言上的平均 WER 为 4.62%。说话人归属方面,文章称其在 David AI 的 21 语言榜单上错误率最低,并在 VoiceArena 的 14 个系统比较中排名第一。

这些结果说明模型值得进入候选评估集,不意味着生产录音会自动获得相同表现。公开测试集与实际会议的口音、重叠发言、麦克风质量和领域词汇可能不同,WER 也不会告诉团队错误是否集中在剂量、否定词或说话人责任归属上。医疗案例提供了另一种证据:NVIDIA 报告称,在留出的说话人上,微调相较于效果最好的提示词,将 WER 相对降低 45.8%。这是适配能够超过提示的示例,而不是对所有医疗语料的结果承诺。

从提示到微调,真正的交付物是验收流程

Granary v2 与 NeMo Speech 微调工具把适配路径从单次调用延伸到训练数据:开发者可以整理目标语音,再用领域、语言或口音数据调整模型。对团队来说,合理顺序不是一开始就训练,而是先用提示验证输出格式和工作流,再判断剩余错误是否来自稳定的领域差异,最后用独立测试集评估微调收益。NVIDIA 同时称模型可在单张 NVIDIA GPU 上运行,从 DGX Spark 到 Blackwell 数据中心系统均可部署,团队也可选择音频的处理位置。

可执行的判断应落在自己的数据和风险上:先按目标任务抽取真实录音,单独评估转写、翻译、说话人归属和问答,再检查关键错误并测量实际延迟与吞吐。公开材料没有给出足以替代本地验收的统一阈值,也未能在本次背景检索中核实 Granary v2 对应的数据集卡或论文,因此不宜把它的语料构成和质量控制细节想当然地补全。若提示已满足要求,微调可能只增加维护成本;若关键术语或口音持续造成错误,开放数据流程与微调才有明确价值。无论哪条路径,高风险用途都需要保留人工复核。