# Dolphin – 清华联合海天瑞声推出的语音识别大模型

- Link: https://paooo.com/aigc-news/20564/
- Published: 2026-06-08T10:11:48+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 支持40种东方语言、22种中文方言，适合多语种与复杂口音场景的语音识别。
 * 采用CTC-Attention、E-Branchformer与Transformer解码器，base/small版WER显著低于
   同尺寸Whisper。
 * base与small版本及推理代码开源，支持命令行和Python调用，便于集成与二次开发。

## Dolphin是什么

Dolphin是清华大学电子工程系语音与音频技术实验室联合海天瑞声共同推出的面向东方语言
的语音[大模型](https://paooo.com/ai-study/)。支持40个东方语种的[语音识别](https://ai-bot.cn/ai-speech-to-text-tools/)，
中文语种涵盖22种方言（含普通话），能精准识别不同地区的语言特点。模型训练数据总时
长21.2万小时，高质量专有数据13.8万小时，开源数据7.4万小时。在性能上，Dolphin的词
错率（WER）显著低于Whisper同等尺寸模型，如base版本平均WER降低63.1%，small版本降低
68.2%。采用CTC-Attention架构，结合E-Branchformer编码器和Transformer解码器，通过4
倍下采样层加速计算，保留关键语音信息。

阅读目录

 * [Dolphin是什么](https://paooo.com/aigc-news/20564/#dolphin%e6%98%af%e4%bb%80%e4%b9%88)
 * [Dolphin的主要功能](https://paooo.com/aigc-news/20564/#dolphin%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Dolphin的技术原理](https://paooo.com/aigc-news/20564/#dolphin%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Dolphin的项目地址](https://paooo.com/aigc-news/20564/#dolphin%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Dolphin的应用场景](https://paooo.com/aigc-news/20564/#dolphin%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Dolphin ](https://paooo.com/wp-content/uploads/2026/06/Dolphin-website-1.avif)

## Dolphin的主要功能

 * **多语言及方言识别**：Dolphin 支持 40 种东方语言的语音识别，涵盖范围广泛，能满足
   不同语言环境下的语音识别需求。
 * **高精度语音转文字**：Dolphin 能将语音信号高效准确地转换为文字内容。在多种语言
   和方言的语音识别任务中都能保持较高的准确率，有效减少了语音转文字过程中的错误和
   误解。
 * **自定义语言和地区设置**：用户可以根据实际需求，灵活指定语音识别的语言和地区。
   Dolphin 采用两级语种标签系统，第一个标签指定语种（如 <zh> 表示中文），第二个标签
   指定地区（如 <CN> 表示中国）。使模型能精准捕捉同一种语言内不同方言和口音之间的
   差异，以及同一地区内不同语言之间的相似性，提高模型在特定语言和地区环境下的识别
   效果，增强其泛化能力。
 * **开源支持与二次开发**：Dolphin 的 base 与 small 版本模型与推理代码全面开源，
   为开发者提供了极大的便利。开源特性使得开发者可以根据自身需求对模型进行二次开发
   和优化，例如针对特定应用场景进行模型微调、扩展模型的功能等，满足个性化需求，推动
   语音识别技术在更多领域的应用和创新。
 * **方便快捷的使用方式**：Dolphin 提供了多种使用方式，包括命令行调用和 Python 接口
   调用。用户可以通过简单的命令行指令快速启动语音识别任务，也可以在 Python 环境中
   灵活调用模型进行语音处理和分析，方便与其他应用程序或系统进行集成，提高开发效率
   和应用的灵活性。

## Dolphin的技术原理

 * **CTC-Attention 架构**：Dolphin 采用 CTC-Attention 架构，结合了 CTC（Connectionist
   Temporal Classification）的序列建模能力和注意力机制的上下文捕捉能力。能在处理
   复杂的音频输入时，有效捕捉语音信息的细微变化，保持高效的处理速度，提升模型的识别
   准确性和效率。
 * **E-Branchformer 编码器**：E-Branchformer 编码器采用并行分支结构，能更有效地捕捉
   输入语音信号的局部和全局依赖关系。为模型提供了更丰富的特征表示，使模型能更好地
   理解语音信号中的复杂模式，提高识别的准确性。
 * **Transformer 解码器**：Dolphin 的解码器部分采用了 Transformer 架构。Transformer
   在序列到序列任务中表现出色，能生成高质量的文本输出。通过自注意力机制，能有效地
   捕捉文本中的长距离依赖关系，确保最终输出的文本质量和连贯性。
 * **4 倍下采样层**：为了进一步提高训练效率和性能，Dolphin 引入了 4 倍下采样层。
   可以减少输入特征的序列长度，加速计算过程，保留关键的语音信息，确保模型的识别效果
   不受影响。
 * **两级语种标签系统**：Dolphin 引入了创新性的两级语种标签系统。第一个标签指定语
   种（例如 <zh> 表示中文），第二个标签指定地区（例如 <CN> 表示中国）。使模型能捕捉
   同一种语言内不同方言和口音之间的差异，以及同一地区内不同语言之间的相似性，提高
   了模型区分密切相关的方言的能力，增强泛化能力。

## Dolphin的项目地址

 * **Github仓库**：[https://github.com/DataoceanAI/Dolphin](https://github.com/DataoceanAI/Dolphin)
 * **HuggingFace模型库**：[https://huggingface.co/DataoceanAI](https://huggingface.co/DataoceanAI)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2503.20212](https://arxiv.org/pdf/2503.20212)

## Dolphin的应用场景

 * **会议记录**：自动将会议中的语音内容转换为文字记录，提高工作效率。
 * **语音输入法**：在智能设备上，用户可以通过语音输入文字，减少手动输入的麻烦，提升
   输入速度和便捷性。
 * **智能语音助手**：支持多种语言和方言，能更好地理解用户的语音指令，提供更准确的
   反馈，减少因方言或口音导致的误解。
 * **智能家居**：用户可以通过语音控制智能家居设备，如灯光、空调等，提升家居的智能
   化和便捷性。
 * **新闻媒体**：快速将新闻采访、播客等语音内容转换为文字，方便编辑和发布。
 * **语言学习**：支持多种语言和方言的识别，可以帮助学生练习发音和语言表达。

❓ 常见问题解答（FAQ）

Dolphin语音识别大模型支持哪些语言和方言？

Dolphin 面向东方语言，支持 40 种东方语种的语音识别；中文语种覆盖 22 种方言（含普通
话）。它还通过两级语种标签系统区分语种与地区，提升对方言、口音和地区差异的识别能力。

Dolphin和Whisper相比效果怎么样？

文中给出的结果显示，Dolphin 在同等尺寸模型下词错率（WER）明显低于 Whisper：base 
版本平均 WER 降低 63.1%，small 版本降低 68.2%。这说明它在东方语言与方言场景下识别
精度更有优势。

Dolphin可以怎么使用和二次开发？

Dolphin 的 base 与 small 版本及推理代码已开源，支持命令行调用和 Python 接口调用。
开发者可据此进行模型集成、场景微调和功能扩展，适合会议记录、语音输入法、智能助手
等应用。

🔬 语宙深潜追问 · 进阶实操拆解

多方言场景怎么做微调最稳？

优先按口音、噪声、设备三维度分桶采样，再做分层微调与难例回灌。先冻结底层声学层，
重点调语言建模与解码策略，最后用真实业务流量做阈值校准，通常比盲目全量微调更稳。

开源语音识别落地最该盯什么指标？

不要只看平均 WER，要同时看方言长尾、热词召回、实时延迟和噪声鲁棒性。生产里还要监
控 OOV 词、断句错误与标点恢复质量，否则离线高分不一定等于可用体验。

🗳️ 读者观点微投票 · 您的实战立场是？

东方语种识别，开源模型真能替代 Whisper 吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Whisper](https://paooo.com/ai-tool/5806/)
 * [Soundwave – 港中文深圳开源的语音理解大模型](https://paooo.com/aigc-news/20838/)
 * [Fish Speech 1.5 – Fish Audio 推出的语音合成模型，支持13种语言](https://paooo.com/aigc-news/25047/)
 * [Qwen2-Audio – 阿里通义千问团队推出的开源AI语音模型](https://paooo.com/aigc-news/27597/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/20564/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
