Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Mega-ASR – NTU、NUS、上海AI Lab开源的语音识别模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Mega-ASR – NTU、NUS、上海AI Lab开源的语音识别模型
Prompt 语宙 > AIGC 资讯 > Mega-ASR – NTU、NUS、上海AI Lab开源的语音识别模型
AIGC 资讯

Mega-ASR – NTU、NUS、上海AI Lab开源的语音识别模型

Prompt 语宙研究院
最近更新: 2026年6月7日 下午6:50
AI智能体 AI音频与语音 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 基于 Qwen3-ASR 1.7B,Mega-ASR 通过复合数据构建与渐进式 A2S-SFT 提升复杂场景识别能力。
  • DG-WGPO 将词级精修与句级重构动态融合,缓解高 WER 场景下的幻觉、丢句与语义崩坏。
  • 环境感知路由可自动区分干净/退化语音,退化音频切换鲁棒 LoRA 分支,兼顾性能与效率。

Mega-ASR是什么

Mega-ASR 是南洋理工大学(NTU)、新加坡国立大学(NUS)与上海人工智能实验室联合开源的全场景鲁棒语音识别基座模型,模型以 Qwen3-ASR 1.7B 为底层架构,针对真实世界中复杂声学环境(如噪音、远场、回声、遮挡、传输丢包等复合场景)下的语音识别难题,提出了可扩展的复合数据构建与渐进式声学到语义优化框架。

阅读目录
  • Mega-ASR是什么
  • Mega-ASR的主要功能
  • Mega-ASR的技术原理
  • 如何使用Mega-ASR
  • Mega-ASR的核心优势
  • Mega-ASR的项目地址
  • Mega-ASR的同类竞品对比
  • Mega-ASR的应用场景

Mega-ASR

Mega-ASR的主要功能

  • 全场景鲁棒语音识别:覆盖 7 种原子声学效应(噪音、远场、遮挡、回声混响、录音染色、电子失真、传输丢包)及 54 种物理合理的复合声学场景,实现单一模型应对多种真实环境。
  • 渐进式声学到语义优化(A2S-SFT):三阶段渐进训练,先训练编码器与对齐器适应中等退化语音(WER<<30%→50%→70%),再激活大语言模型的语义恢复能力,最后进行端到端联合微调,解决”声学感知”与”语义重建”两大耦合瓶颈。
  • 双粒度动态奖励优化(DG-WGPO):针对 WER>30% 时模型错误模式从”词级混淆”突变为”句级幻觉/丢句”的问题,引入 Token 级精修奖励与句子级重构奖励,通过 WER 门控动态融合,强化极端条件下的语义保持能力。
  • 环境感知即插即用路由:内置轻量级音频质量分类器(单层 Transformer),自动判断输入音频为”干净”或”退化”状态,干净语音走原始 Qwen3-ASR backbone,退化语音走 Mega-ASR 鲁棒 LoRA 分支,实现零侵入式增强。
  • 开源数据集 Voices-in-the-Wild-2M:发布包含 240 万条合成音频及 5,000 条评测音频(含 1,500 条真实录音)的大规模鲁棒 ASR 数据集,覆盖 7 大元场景与 54 种混合场景,难度分布经过可控实验校准。

Mega-ASR的技术原理

  • Voices-in-the-Wild-2M 数据构建:采用频谱级代码仿真,先独立模拟 7 种原子声学效应作为基础,再通过智能体验证物理合理性(如”教堂=远场+回声”),组合生成 54 种复合场景;通过统一严重程度参数 k∈[0,1] 控制难度分布,并剔除 WER>70% 的不稳定样本。
  • A2S-SFT 三阶段训练:第一阶段仅训练音频编码器与对齐器,按 WER<<30%、<<50%、<<70% 的课程逐步扩展;第二阶段冻结声学模块,单独微调大语言模型以激活语义先验;第三阶段联合训练所有模块,实现声学证据与语义推理的端到端对齐。
  • DG-WGPO 动态奖励机制:静态奖励由 WER 奖励与反重复惩罚组成;动态奖励核心包含 Token 级精修奖励(区分软/硬替换错误)和句子级重构奖励(基于最长公共子序列与长度惩罚),通过 WER 门控(阈值 τ=0.3)镜像融合,低 WER 时侧重局部精修,高 WER 时侧重整体语义保持。
  • 环境感知路由模型:基于 80 维 log-Mel 特征,采用轻量级卷积前端 + 单层 Transformer 编码器 + 注意力池化结构,二分类准确率超过 99.5%,推理开销极低,实现清洁/退化语音的自动分流。

如何使用Mega-ASR

  • 环境准备与依赖安装:基于 Qwen3-ASR 开源生态搭建运行环境,安装相关音频处理库及模型推理依赖(如 transformers、torchaudio 等),确保支持 80 维 log-Mel 谱特征提取与模型权重加载。
  • 加载双模型权重:同时加载两个组件,原始 Qwen3-ASR 1.7B backbone 作为基座模型,以及 Mega-ASR 的鲁棒性 LoRA 权重;另外需加载轻量级环境感知路由模型(单层 Transformer,隐藏维度 128,基于 LoRA 微调)。
  • 音频预处理后送入路由模型:对输入音频提取 80 维 log-Mel 谱特征,经过轻量级卷积前端编码后,送入路由模型的单层 Transformer 进行二分类判断,自动识别当前音频属于”干净语音”还是”退化语音”(准确率超 99.5%)。
  • 自动分流推理:路由模型判定为干净语音时,直接调用原始 Qwen3-ASR backbone 进行标准识别,保证 LibriSpeech 等干净域性能不受损;判定为退化语音时,自动切换至 Mega-ASR 鲁棒 LoRA 分支,激活复合声学场景下的强抗噪与语义恢复能力。
  • 获取识别结果:模型输出文本转写结果,在极端退化场景(如远场峰值 -5.2dB、NOIZEUS 0dB)下仍能避免空白输出或语义幻觉,保持高完整度的语音识别结果。

Mega-ASR的核心优势

  • 复合场景性能领先:在 Voices-in-the-Wild-Bench 混合退化场景下,WER 达到 2.73/4.57,相对 Whisper-Large-v3 降低 65.8%/69.1%,相对 Gemini-3-Flash 降低 65.8%;在 NOIZEUS 0dB 极端条件下,WER 降至 19.80,相对 Qwen3-ASR 降低 17.4%,相对 Gemini-3-Flash 降低 64.5%。
  • 语义恢复能力突出:在远场峰值 -5.2dB 的极端案例中,Qwen3-ASR 输出空白(WER 100%),Gemini-3-Pro 产生流畅但无关的幻觉内容(WER 86.1%),而 Mega-ASR 精确恢复参考文本(WER 0.0%)。
  • 干净域性能无损:通过环境感知路由,LibriSpeech 等干净基准 WER 从 1.78/3.57 进一步优化至 1.63/3.37,热词识别、流式推理等原有能力不受影响。
  • 训练稳定性高:数据集构建过程中过滤 WER>70% 的不可学习样本,A2S-SFT 采用课程学习策略逐步扩展难度,避免模型在极端退化条件下训练崩溃。
  • 完全开源可复现:模型权重、训练代码、数据集构建流程及评测基准均开源,基于成熟的 Qwen3-ASR 生态,社区接入门槛低。

Mega-ASR的项目地址

  • 项目主页:https://xzf-thu.github.io/Mega-ASR/
  • GitHub仓库:https://github.com/xzf-thu/Mega-ASR
  • Hugging Face 模型库:https://huggingface.co/zhifeixie/Mega-ASR
  • arXiv技术论文:https://arxiv.org/pdf/2605.19833

Mega-ASR的同类竞品对比

对比维度 Mega-ASR Whisper Large-v3 Qwen3-ASR 1.7B Gemini-3-Flash
开源状态 完全开源 完全开源 完全开源 闭源
底层架构 Qwen3-ASR 1.7B Whisper Qwen3-ASR 1.7B Gemini
复合场景覆盖 7种原子+54种复合 有限 有限 有限
NOIZEUS 0dB WER 19.80 ~55.78 23.97 55.78
VOiCES R4-B-F WER 45.69% ~60%+ 54.01% ~50%+
干净语音性能 1.63/3.37 (LibriSpeech) 1.78/3.53 1.78/3.57 1.52/3.29
语义恢复能力 强(极端条件下WER可降至0%) 弱(易丢句/幻觉) 中等 弱(易产生幻觉)
即插即用增强 支持(环境感知路由) 不支持 不支持 不支持

Mega-ASR的应用场景

  • 车载语音交互:应对发动机噪音、风噪、多人交谈等复合声学环境,提升导航与指令识别准确率。
  • 远场会议/课堂转写:解决会议室回声、距离衰减、设备录音染色等问题,实现高质量自动纪要。
  • 户外采访与直播字幕:在街道噪音、风声、遮挡等恶劣条件下保持字幕生成的完整性与准确性。
  • 智能家居语音控制:提升远距离、多房间混响环境下的唤醒词与指令识别鲁棒性。
  • 电话客服与 VoIP 通话分析:针对传输丢包、码率压缩、电子失真等信道退化问题,保障通话内容识别质量。
❓ 常见问题解答(FAQ)
Mega-ASR 适合哪些语音场景?

它主要面向噪音、远场、回声混响、遮挡、录音染色、电子失真和传输丢包等真实复杂场景,并覆盖 54 种复合声学环境,适合需要高鲁棒 ASR 的应用。

Mega-ASR 和原始 Qwen3-ASR 有什么区别?

Mega-ASR 在 Qwen3-ASR 1.7B 基座上加入鲁棒 LoRA 分支、环境感知路由和渐进式声学到语义优化,重点提升退化语音下的识别完整度与语义保持能力。

Mega-ASR 的实测效果怎么样?

文中给出的结果显示,它在 Voices-in-the-Wild-Bench 混合退化场景和 NOIZEUS 0dB 条件下都明显优于 Whisper-Large-v3、Gemini-3-Flash 及原始 Qwen3-ASR,尤其能减少空白输出和语义幻觉。

🔬 语宙深潜追问 · 进阶实操拆解
极端低信噪比下怎么提升识别率?

先做前端降噪、VAD和说话人分离,再用噪声增强数据重训。模型侧可引入多条件训练和退化建模,让系统学会在回声、丢包和远场下保持稳定解码。

开源ASR落地最该看哪些指标?

不要只看公开集WER,还要看真实场景的句错率、延迟、流式稳定性和热词召回。对客服、会议和车载等场景,鲁棒性往往比榜单分数更决定可用性。

🗳️ 读者观点微投票 · 您的实战立场是?
复杂噪声下ASR,先追WER还是先追鲁棒性?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • 阿里通义开源 Qwen3-ASR 语音识别模型:支持52语种方言,1.7B版达SOTA,0.6B版吞吐提升2000倍
  • Seed-ASR – 字节跳动推出的AI语音识别模型
  • MegaTTS 3 – 字节与浙江大学合作推出的零样本语音合成系统
  • 小红书开源FireRedASR2S语音识别模型:2.89%超低字错率,支持20+方言与端到端部署
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
杨植麟在GTC2026 摊牌:月之暗面把Adam、全注意力和残差连接全换了,而且全部开源
Embedditor
NPOA – 开源舆情检测工具,实时监控网络舆情与分析
PaddleOCR 2.9 – 百度飞桨推出的新版开源光学字符识别(OCR)工具库
LanDiff – 浙大联合月之暗面推出的文本到视频生成混合框架
TAGGED:AI智能体AI音频与语音大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 CodeGraph – 开源代码知识图谱工具,加速代码理解和分析 CodeGraph – 开源代码知识图谱工具,加速代码理解和分析
下一篇 Reasonix – 专为 DeepSeek 推出的开源终端编程 Agent Reasonix – 专为 DeepSeek 推出的开源终端编程 Agent
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

VITRON – Skywork AI 联合新加坡国立、南洋理工推出的像素级视觉大型语言模型
AIGC 资讯

VITRON – Skywork AI 联合新加坡国立、南洋理工推出的像素级视觉大型语言模型

Prompt 语宙研究院
3D与空间智能 AI智能体 AI视频生成 开源大模型
PhotoMaker V2 – 腾讯推出的AI图像生成框架
AIGC 资讯

PhotoMaker V2 – 腾讯推出的AI图像生成框架

Prompt 语宙研究院
AI绘画提示词 ComfyUI HuggingFace stable diffusion 开源大模型
英伟达开源Polar框架发布:Codex性能暴涨近600%,GRPO训练法引爆智能体革命
AI 工具AIGC 资讯

英伟达开源Polar框架发布:Codex性能暴涨近600%,GRPO训练法引爆智能体革命

Prompt 语宙研究院
GRPO Polar框架 代码智能体 强化学习 英伟达
高考公平再升级!豆包、文心一言等主流AI大模型集体宣布:高考期间禁用拍题搜题功能
AI 工具AIGC 资讯

高考公平再升级!豆包、文心一言等主流AI大模型集体宣布:高考期间禁用拍题搜题功能

Prompt 语宙研究院
AI工具 Kimi 文心一言 科大讯飞 豆包 豆包大模型 通义千问 防作弊 高考
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.