💡 站外导读：工业级语音处理长期被繁琐的“语音活动检测 (VAD) + 声纹识别 (Diarization) + ASR + 后处理 LLM”多级级联系统所困扰，不仅延迟居高不下，且面对多人重叠发音时错误率剧增。英伟达正式开源其重量级语音大模型 Nemotron 3.5 Transcribe，采用 30B MoE 稀疏激活架构（仅 4.3B 活跃参数），在单张 RTX PRO 6000 GPU 上凭借原生多 Token 预测（MTP）投机解码实现单秒吞吐 2238 秒音频。模型原生支持 40 种语言、最长 1 小时音频、8 人重叠说话人分离与自然语言格式指令控制，彻底树立了开源语音大模型的新 SOTA。
一、终结臃肿级联架构：Nemotron 3.5 Transcribe 的端到端整合
在企业级语音落地实践中，处理一场长达数十分钟的多人圆桌会议或财报电话会，历来是工程复杂度极高的技术挑战。传统方案通常需要拼装多个独立模型：先使用 VAD 切割静音段，再通过声纹聚类模型给说话人打标，随后丢给 Whisper 或 Conformer 进行语音识别，最后由通用大模型进行语义校对和纪要提炼。这种链条冗长且脆弱，任何一环的误差都会在后续环节被指数级放大。
英伟达最新开源的 Nemotron 3.5 Transcribe 则采用了彻底的端到端统一建模哲学。该模型基于先进的 SALM（Speech-Augmented Language Model）架构，巧妙将高精语音特征编码器、冻结声学分离网络与一个总参数 30B（单次前向仅激活约 4.3B）的 Mamba-Transformer 混合 MoE 语言模型深度熔炼为一体，以极低算力开销达成了以往只有超级大模型级联管线才能实现的卓越转录精度。
二、四大硬核架构突破与工业级特性拆解
在严谨的基准评测中，Nemotron 3.5 Transcribe 在英文 Open ASR 榜单上创下了 4.71% 的极低词错误率（WER），多语言榜单亦低至 4.62%，在所有开放权重模型中位列第一。其背后的核心技术创新涵盖四个关键维度：
1. 原生 8 人重叠说话人分离（Diarization）
多人热烈交谈时出现的插话、抢话与重叠语音，往往是传统 ASR 崩溃的重灾区。Nemotron 3.5 Transcribe 首次在端到端模型中达成了超越专用级联系统的说话人分辨能力，能够单次稳定支持长达 1 小时、最多 8 位不同发音人的复杂声学场景，并精准为每一句话标注对应的发音人归属。
2. 自然语言指令化精准格式输出
无需重新微调模型或挂载额外的格式化 Prompt，开发者只需在输入音频时附加一句简短的自然语言系统指令，模型即可在解码阶段自主完成多形态输出：
"保留逐字原话并严格标注说话人"：生成司法与媒体级别的逐字速记稿；"剔除语气助词与口头禅，整理为规范书面语"：直接输出排版优雅的企业会议纪要；"将音频核心观点翻译并提取为英文待办列表"：直接跨模态端到端翻译输出。
3. MTP 原生投机解码与 DFlash2 极致加速
为了攻克长音频解码的高耗时瓶颈，英伟达在模型预训练阶段就同步联合优化了多 Token 预测（Multi-Token Prediction, MTP）目标。这使得模型自身的 MTP 层能够直接作为 vLLM 投机解码框架下的草稿模型（Draft Model），同时官方还配套开源了超轻量的 DFlash2 辅助模型。在单张 RTX PRO 6000 Blackwell 显卡上，该组合达到了惊人的 每秒转录 2238 秒音频 的吞吐天花板，相当于在 1 秒钟内即可完成近 37 分钟的完整录音处理。
4. 轻量 CTC 对齐器赋能词级时间戳
在模型解码主链路之外，系统搭载了一个超轻量的 CTC 时间戳适配器，不占用主模型宝贵的注意力显存，即可为长篇音频生成精确到单个单词的高保真时间戳（Word-level Timestamps），天然为长视频快速检索、在线课程回听以及音频剪辑软件提供了毫秒级的时间锚点。
三、Nemotron 3.5 Transcribe 与 OpenAI Whisper 架构全景对比
针对业内广泛使用的商业方案与开源标杆，我们整理了详细的技术规格对比：
| 技术维度 | NVIDIA Nemotron 3.5 Transcribe | OpenAI Whisper 家族 (含 Realtime) |
|---|---|---|
| 开源与商用授权 | 完全开放权重（OpenMDW-1.1 许可），支持免费自部署商用 | 经典版开源，最新流式 Realtime 仅限闭源云端 API |
| 底层核心架构 | 30B MoE 稀疏激活（4.3B 活跃参数，Mamba+Transformer 混合） | 传统密集型 Transformer 编码器-解码器架构（约 1.5B 参数） |
| 说话人分离能力 | 原生集成（单次支持 8 人重叠区分，超越专用级联模型） | 无原生说话人标注，需外挂 pyannote 等重度级联组件 |
| 格式与指令控制 | 支持自然语言指令自由定义输出样式（逐字稿/书面化/剔口头禅） | 仅支持基于 Prompt 填空的弱引导，不可控度高 |
| 推理加速机制 | 原生 MTP 多 Token 预测 + DFlash2 投机解码（2238x 实时率） | 依赖通用 Faster-Whisper (CTranslate2) 优化，无专用投机加速 |
📝 站长洞察 (Editor’s Insight)
英伟达 Nemotron 3.5 Transcribe 的开源，标志着企业级 ASR 从“声学模型时代”彻底跨越到了“语音大语言模型（Speech LLM）时代”。过去十余年，语音识别领域一直受制于声学与语言理解脱节的宿命——ASR 只管把声音拼成文字，后续再依赖昂贵的 LLM 去洗掉错别字、标点符号和口语废话。而 Nemotron 3.5 将 MoE 架构与投机解码深度融入语音流水线，不仅让单次转写的显存与计算成本降低了一个数量级，更实现了“输入原始音频、直接按指令产出高质量业务交付物”的质的飞跃。对于医疗问诊、法律庭审、跨国会议与私有化客服系统等对数据主权高度敏感的企业而言，该模型的开源无疑是一把终结云端厂商高昂 API 绑定的利刃。
