---
title: "单卡每秒转录2238秒音频且超越级联系统！英伟达开源30B MoE语音大模型Nemotron 3.5 Transcribe：MTP投机解码、8人重叠区分与长程指令化全景深度评测"
url: "https://paooo.com/aigc-news/40532/"
author: "Prompt 语宙研究院"
published_at: "2026-10-30T12:05:39+08:00"
updated_at: "2026-10-30T12:05:39+08:00"
categories: "AIGC 资讯"
tags: "ASR, MoE, Nemotron 3.5, 开源AI, 投机解码, 英伟达, 语音大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# 单卡每秒转录2238秒音频且超越级联系统！英伟达开源30B MoE语音大模型Nemotron 3.5 Transcribe：MTP投机解码、8人重叠区分与长程指令化全景深度评测

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/40532/) · 作者：Prompt 语宙研究院 · 发布时间：2026-10-30

## AI 30 秒核心看点 (TL;DR)

- 30B MoE 稀疏激活架构仅启用4.3B参数，单卡即可实现超高吞吐语音转录。
- 原生支持8人重叠说话人分离、1小时长音频与词级时间戳，适合会议和访谈场景。
- MTP投机解码配合DFlash2，在RTX PRO 6000上达到每秒转录2238秒音频的实测表现。

> **💡 站外导读：**工业级语音处理长期被繁琐的“语音活动检测 (VAD) + 声纹识别 (Diarization) + ASR + 后处理 LLM”多级级联系统所困扰，不仅延迟居高不下，且面对多人重叠发音时错误率剧增。英伟达正式开源其重量级语音大模型 Nemotron 3.5 Transcribe，采用 30B MoE 稀疏激活架构（仅 4.3B 活跃参数），在单张 RTX PRO 6000 GPU 上凭借原生多 Token 预测（MTP）投机解码实现单秒吞吐 2238 秒音频。模型原生支持 40 种语言、最长 1 小时音频、8 人重叠说话人分离与自然语言格式指令控制，彻底树立了开源语音大模型的新 SOTA。

## 一、终结臃肿级联架构：Nemotron 3.5 Transcribe 的端到端整合

在企业级语音落地实践中，处理一场长达数十分钟的多人圆桌会议或财报电话会，历来是工程复杂度极高的技术挑战。传统方案通常需要拼装多个独立模型：先使用 VAD 切割静音段，再通过声纹聚类模型给说话人打标，随后丢给 Whisper 或 Conformer 进行语音识别，最后由通用大模型进行语义校对和纪要提炼。这种链条冗长且脆弱，任何一环的误差都会在后续环节被指数级放大。

英伟达最新开源的 **Nemotron 3.5 Transcribe** 则采用了彻底的端到端统一建模哲学。该模型基于先进的 **SALM（Speech-Augmented Language Model）架构**，巧妙将高精语音特征编码器、冻结声学分离网络与一个总参数 30B（单次前向仅激活约 4.3B）的 Mamba-Transformer 混合 MoE 语言模型深度熔炼为一体，以极低算力开销达成了以往只有超级大模型级联管线才能实现的卓越转录精度。

## 二、四大硬核架构突破与工业级特性拆解

在严谨的基准评测中，Nemotron 3.5 Transcribe 在英文 Open ASR 榜单上创下了 **4.71%** 的极低词错误率（WER），多语言榜单亦低至 **4.62%**，在所有开放权重模型中位列第一。其背后的核心技术创新涵盖四个关键维度：

### 1. 原生 8 人重叠说话人分离（Diarization）

多人热烈交谈时出现的插话、抢话与重叠语音，往往是传统 ASR 崩溃的重灾区。Nemotron 3.5 Transcribe 首次在端到端模型中达成了超越专用级联系统的说话人分辨能力，能够单次稳定支持长达 1 小时、最多 8 位不同发音人的复杂声学场景，并精准为每一句话标注对应的发音人归属。

### 2. 自然语言指令化精准格式输出

无需重新微调模型或挂载额外的格式化 Prompt，开发者只需在输入音频时附加一句简短的自然语言系统指令，模型即可在解码阶段自主完成多形态输出：

  - `"保留逐字原话并严格标注说话人"`：生成司法与媒体级别的逐字速记稿；

  - `"剔除语气助词与口头禅，整理为规范书面语"`：直接输出排版优雅的企业会议纪要；

  - `"将音频核心观点翻译并提取为英文待办列表"`：直接跨模态端到端翻译输出。

### 3. MTP 原生投机解码与 DFlash2 极致加速

为了攻克长音频解码的高耗时瓶颈，英伟达在模型预训练阶段就同步联合优化了多 Token 预测（Multi-Token Prediction, MTP）目标。这使得模型自身的 MTP 层能够直接作为 vLLM 投机解码框架下的草稿模型（Draft Model），同时官方还配套开源了超轻量的 DFlash2 辅助模型。在单张 RTX PRO 6000 Blackwell 显卡上，该组合达到了惊人的 **每秒转录 2238 秒音频** 的吞吐天花板，相当于在 1 秒钟内即可完成近 37 分钟的完整录音处理。

### 4. 轻量 CTC 对齐器赋能词级时间戳

在模型解码主链路之外，系统搭载了一个超轻量的 CTC 时间戳适配器，不占用主模型宝贵的注意力显存，即可为长篇音频生成精确到单个单词的高保真时间戳（Word-level Timestamps），天然为长视频快速检索、在线课程回听以及音频剪辑软件提供了毫秒级的时间锚点。

## 三、Nemotron 3.5 Transcribe 与 OpenAI Whisper 架构全景对比

针对业内广泛使用的商业方案与开源标杆，我们整理了详细的技术规格对比：

  
    
      技术维度
      NVIDIA Nemotron 3.5 Transcribe
      OpenAI Whisper 家族 (含 Realtime)
    

  
  
    
      开源与商用授权
      完全开放权重（OpenMDW-1.1 许可），支持免费自部署商用
      经典版开源，最新流式 Realtime 仅限闭源云端 API
    

    
      底层核心架构
      30B MoE 稀疏激活（4.3B 活跃参数，Mamba+Transformer 混合）
      传统密集型 Transformer 编码器-解码器架构（约 1.5B 参数）
    

    
      说话人分离能力
      原生集成（单次支持 8 人重叠区分，超越专用级联模型）
      无原生说话人标注，需外挂 pyannote 等重度级联组件
    

    
      格式与指令控制
      支持自然语言指令自由定义输出样式（逐字稿/书面化/剔口头禅）
      仅支持基于 Prompt 填空的弱引导，不可控度高
    

    
      推理加速机制
      原生 MTP 多 Token 预测 + DFlash2 投机解码（2238x 实时率）
      依赖通用 Faster-Whisper (CTranslate2) 优化，无专用投机加速
    

  

#### 📝 站长洞察 (Editor's Insight)

英伟达 Nemotron 3.5 Transcribe 的开源，标志着企业级 ASR 从“声学模型时代”彻底跨越到了“语音大语言模型（Speech LLM）时代”。过去十余年，语音识别领域一直受制于声学与语言理解脱节的宿命——ASR 只管把声音拼成文字，后续再依赖昂贵的 LLM 去洗掉错别字、标点符号和口语废话。而 Nemotron 3.5 将 MoE 架构与投机解码深度融入语音流水线，不仅让单次转写的显存与计算成本降低了一个数量级，更实现了“输入原始音频、直接按指令产出高质量业务交付物”的质的飞跃。对于医疗问诊、法律庭审、跨国会议与私有化客服系统等对数据主权高度敏感的企业而言，该模型的开源无疑是一把终结云端厂商高昂 API 绑定的利刃。

## 常见问题解答 (FAQ)

### Nemotron 3.5 Transcribe 适合什么场景？
它更适合长会议、财报电话会、多人访谈、课程录音和视频字幕等工业级语音处理场景，尤其适合需要说话人分离、长音频转录和可控输出格式的任务。

### 它和 Whisper 最大区别是什么？
最大区别在于它是端到端语音大模型，原生集成说话人分离、格式指令控制和加速解码；Whisper 更偏传统 ASR，通常需要外挂 diarization 等级联组件才能完成复杂场景处理。

### 2238秒音频/秒是什么意思？
这是吞吐指标，表示在单张 RTX PRO 6000 上，模型每运行1秒可处理约2238秒音频，约等于1秒完成近37分钟录音转录，体现其极高的推理效率。

## English Executive Summary

**NVIDIA Nemotron 3.5 Transcribe: 30B MoE delivers 2238× real-time single-card throughput**

NVIDIA has open-sourced Nemotron 3.5 Transcribe, a 30B Mixture-of-Experts (MoE) speech foundation model that achieves single-GPU transcription throughput of 2238 seconds of audio per second. Using sparse activation with only 4.3B active parameters, it supports 40 languages, 1-hour long audio, native word-level timestamps, and natural-language instruction outputs, including native separation of up to 8 overlapping speakers. Evaluations report leading performance among open-weight models, with MTP speculative decoding and DFlash2 enabling the measured speed on an RTX PRO 6000.

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
