Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Dolphin – 清华联合海天瑞声推出的语音识别大模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Dolphin – 清华联合海天瑞声推出的语音识别大模型
Prompt 语宙 > AIGC 资讯 > Dolphin – 清华联合海天瑞声推出的语音识别大模型
AIGC 资讯

Dolphin – 清华联合海天瑞声推出的语音识别大模型

Prompt 语宙研究院
最近更新: 2026年6月8日 上午10:11
AI办公效率 AI音频与语音 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 支持40种东方语言、22种中文方言,适合多语种与复杂口音场景的语音识别。
  • 采用CTC-Attention、E-Branchformer与Transformer解码器,base/small版WER显著低于同尺寸Whisper。
  • base与small版本及推理代码开源,支持命令行和Python调用,便于集成与二次开发。

Dolphin是什么

Dolphin是清华大学电子工程系语音与音频技术实验室联合海天瑞声共同推出的面向东方语言的语音大模型。支持40个东方语种的语音识别,中文语种涵盖22种方言(含普通话),能精准识别不同地区的语言特点。模型训练数据总时长21.2万小时,高质量专有数据13.8万小时,开源数据7.4万小时。在性能上,Dolphin的词错率(WER)显著低于Whisper同等尺寸模型,如base版本平均WER降低63.1%,small版本降低68.2%。采用CTC-Attention架构,结合E-Branchformer编码器和Transformer解码器,通过4倍下采样层加速计算,保留关键语音信息。

阅读目录
  • Dolphin是什么
  • Dolphin的主要功能
  • Dolphin的技术原理
  • Dolphin的项目地址
  • Dolphin的应用场景

Dolphin

Dolphin的主要功能

  • 多语言及方言识别:Dolphin 支持 40 种东方语言的语音识别,涵盖范围广泛,能满足不同语言环境下的语音识别需求。
  • 高精度语音转文字:Dolphin 能将语音信号高效准确地转换为文字内容。在多种语言和方言的语音识别任务中都能保持较高的准确率,有效减少了语音转文字过程中的错误和误解。
  • 自定义语言和地区设置:用户可以根据实际需求,灵活指定语音识别的语言和地区。Dolphin 采用两级语种标签系统,第一个标签指定语种(如 <zh> 表示中文),第二个标签指定地区(如 <CN> 表示中国)。使模型能精准捕捉同一种语言内不同方言和口音之间的差异,以及同一地区内不同语言之间的相似性,提高模型在特定语言和地区环境下的识别效果,增强其泛化能力。
  • 开源支持与二次开发:Dolphin 的 base 与 small 版本模型与推理代码全面开源,为开发者提供了极大的便利。开源特性使得开发者可以根据自身需求对模型进行二次开发和优化,例如针对特定应用场景进行模型微调、扩展模型的功能等,满足个性化需求,推动语音识别技术在更多领域的应用和创新。
  • 方便快捷的使用方式:Dolphin 提供了多种使用方式,包括命令行调用和 Python 接口调用。用户可以通过简单的命令行指令快速启动语音识别任务,也可以在 Python 环境中灵活调用模型进行语音处理和分析,方便与其他应用程序或系统进行集成,提高开发效率和应用的灵活性。

Dolphin的技术原理

  • CTC-Attention 架构:Dolphin 采用 CTC-Attention 架构,结合了 CTC(Connectionist Temporal Classification)的序列建模能力和注意力机制的上下文捕捉能力。能在处理复杂的音频输入时,有效捕捉语音信息的细微变化,保持高效的处理速度,提升模型的识别准确性和效率。
  • E-Branchformer 编码器:E-Branchformer 编码器采用并行分支结构,能更有效地捕捉输入语音信号的局部和全局依赖关系。为模型提供了更丰富的特征表示,使模型能更好地理解语音信号中的复杂模式,提高识别的准确性。
  • Transformer 解码器:Dolphin 的解码器部分采用了 Transformer 架构。Transformer 在序列到序列任务中表现出色,能生成高质量的文本输出。通过自注意力机制,能有效地捕捉文本中的长距离依赖关系,确保最终输出的文本质量和连贯性。
  • 4 倍下采样层:为了进一步提高训练效率和性能,Dolphin 引入了 4 倍下采样层。可以减少输入特征的序列长度,加速计算过程,保留关键的语音信息,确保模型的识别效果不受影响。
  • 两级语种标签系统:Dolphin 引入了创新性的两级语种标签系统。第一个标签指定语种(例如 <zh> 表示中文),第二个标签指定地区(例如 <CN> 表示中国)。使模型能捕捉同一种语言内不同方言和口音之间的差异,以及同一地区内不同语言之间的相似性,提高了模型区分密切相关的方言的能力,增强泛化能力。

Dolphin的项目地址

  • Github仓库:https://github.com/DataoceanAI/Dolphin
  • HuggingFace模型库:https://huggingface.co/DataoceanAI
  • arXiv技术论文:https://arxiv.org/pdf/2503.20212

Dolphin的应用场景

  • 会议记录:自动将会议中的语音内容转换为文字记录,提高工作效率。
  • 语音输入法:在智能设备上,用户可以通过语音输入文字,减少手动输入的麻烦,提升输入速度和便捷性。
  • 智能语音助手:支持多种语言和方言,能更好地理解用户的语音指令,提供更准确的反馈,减少因方言或口音导致的误解。
  • 智能家居:用户可以通过语音控制智能家居设备,如灯光、空调等,提升家居的智能化和便捷性。
  • 新闻媒体:快速将新闻采访、播客等语音内容转换为文字,方便编辑和发布。
  • 语言学习:支持多种语言和方言的识别,可以帮助学生练习发音和语言表达。
❓ 常见问题解答(FAQ)
Dolphin语音识别大模型支持哪些语言和方言?

Dolphin 面向东方语言,支持 40 种东方语种的语音识别;中文语种覆盖 22 种方言(含普通话)。它还通过两级语种标签系统区分语种与地区,提升对方言、口音和地区差异的识别能力。

Dolphin和Whisper相比效果怎么样?

文中给出的结果显示,Dolphin 在同等尺寸模型下词错率(WER)明显低于 Whisper:base 版本平均 WER 降低 63.1%,small 版本降低 68.2%。这说明它在东方语言与方言场景下识别精度更有优势。

Dolphin可以怎么使用和二次开发?

Dolphin 的 base 与 small 版本及推理代码已开源,支持命令行调用和 Python 接口调用。开发者可据此进行模型集成、场景微调和功能扩展,适合会议记录、语音输入法、智能助手等应用。

🔬 语宙深潜追问 · 进阶实操拆解
多方言场景怎么做微调最稳?

优先按口音、噪声、设备三维度分桶采样,再做分层微调与难例回灌。先冻结底层声学层,重点调语言建模与解码策略,最后用真实业务流量做阈值校准,通常比盲目全量微调更稳。

开源语音识别落地最该盯什么指标?

不要只看平均 WER,要同时看方言长尾、热词召回、实时延迟和噪声鲁棒性。生产里还要监控 OOV 词、断句错误与标点恢复质量,否则离线高分不一定等于可用体验。

🗳️ 读者观点微投票 · 您的实战立场是?
东方语种识别,开源模型真能替代 Whisper 吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • Whisper
  • Soundwave – 港中文深圳开源的语音理解大模型
  • Fish Speech 1.5 – Fish Audio 推出的语音合成模型,支持13种语言
  • Qwen2-Audio – 阿里通义千问团队推出的开源AI语音模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
ARTalk – 东京大学等机构推出的3D头部动画生成框架
Oryx – 腾讯联合清华和南洋理工大学推出的多模态大语言模型
HART – 麻省理工学院推出的自回归视觉生成模型
Runway推出Media Router:自动切换AI模型帮你省Token,创意验证到成片一条龙搞定
半年狂揽163亿却亏损807亿!Anthropic IPO招股书草案曝光:背负7500亿美元不可取消算力枷锁,透视大模型巨头的商业生死局与AI基建黑洞
TAGGED:AI办公效率AI音频与语音大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 HippoRAG 2 – 俄亥俄州立大学推出的检索增强生成框架 HippoRAG 2 – 俄亥俄州立大学推出的检索增强生成框架
下一篇 Speech-02 – MiniMax 推出的新一代文本转语音模型 Speech-02 – MiniMax 推出的新一代文本转语音模型
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

ChatGPT突发重大服务故障,正值GPT-5. 6 系列模型上线关键期
AIGC 资讯

ChatGPT突发重大服务故障,正值GPT-5. 6 系列模型上线关键期

Prompt 语宙研究院
AI智能体 Anthropic ChatGPT Claude OpenAI
上海AI Lab开源Intern-S2-Preview:35B参数科学大模型,比肩万亿参数,首次实现晶体结构生成
AI 工具AIGC 资讯

上海AI Lab开源Intern-S2-Preview:35B参数科学大模型,比肩万亿参数,首次实现晶体结构生成

Prompt 语宙研究院
Intern-S2-Preview 上海AI Lab 多模态大模型 开源模型 科学大模型
港大开源 Nanobot:仅4000行代码打造全能AI助手,43万行代码实现99%生产力
AI 工具AIGC 资讯

港大开源 Nanobot:仅4000行代码打造全能AI助手,43万行代码实现99%生产力

Prompt 语宙研究院
AI智能体 个人助手 大语言模型 开源项目 香港大学
[AI生图咒语] 亚裔女性与巨型苏格兰折耳猫英式花园
AI 生图 Prompt写实人像

[AI生图咒语] 亚裔女性与巨型苏格兰折耳猫英式花园

Prompt 语宙研究院
AI绘画提示词 ChatGPT Midjourney 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.