# CosyVoice – 阿里开源的语音生成大模型

- Link: https://paooo.com/aigc-news/24848/
- Published: 2026-07-10T03:18:29+08:00
- Author: Prompt 语宙研究院

## CosyVoice是什么

CosyVoice 是阿里通义实验室开源的自然[语音合成](https://ai-bot.cn/ai-text-to-speech-tools/)
[大模型](https://paooo.com/ai-study/)。模型支持中文、英文、日文、粤语、韩语五种语言，
仅需3到10秒音频样本就能复刻相似音色，包括语调和情感细节，能跨语种合成。模型亮点在于
可通过富文本或自然语言输入精细控制语音情感和韵律，让合成语音栩栩如生、充满情感色彩，
远超传统模型，广泛应用在语音播报、有声读物、语音交互等领域，为用户提供高度个性化
和情感化的语音体验。

阅读目录

 * [CosyVoice是什么](https://paooo.com/aigc-news/24848/#cosyvoice%e6%98%af%e4%bb%80%e4%b9%88)
 * [CosyVoice的主要功能](https://paooo.com/aigc-news/24848/#cosyvoice%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [CosyVoice的技术原理](https://paooo.com/aigc-news/24848/#cosyvoice%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [CosyVoice的项目地址](https://paooo.com/aigc-news/24848/#cosyvoice%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [CosyVoice的应用场景](https://paooo.com/aigc-news/24848/#cosyvoice%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

CosyVoice 2.0 是阿里巴巴通义实验室推出的CosyVoice语音生成大模型升级版，模型用有限
标量量化技术提高码本利用率，简化文本-语音语言模型架构，推出块感知因果流匹配模型支持
多样的合成场景。CosyVoice 2 在发音准确性、音色一致性、韵律和音质上都有显著提升，
MOS评测分从5.4提升到5.53，支持流式推理，大幅降低首包合成延迟至150ms，适合实时语音
合成场景。

CosyVoice 3已全面升级赋予声音更多情绪和表现力，集语音克隆与语音合成为一体，只需用户
提供一段3秒钟的声音样本，能精准捕捉用户的音色、语调和说话习惯，支持用用户的声音去
朗读任何文本。CosyVoice 3支持中文、英文、日文等9种语言，能根据文本或指令生成带有
特定情感的语音，如“开心”、“悲伤”、“愤怒”等，让语音更加生动和富有表现力。CosyVoice
3能保留用户声音里的口音，让口音成为用户数字身份的一部分。模型现已上线[阿里云百炼](https://ai-bot.cn/sites/50019.html)。

近期通义实验室对CosyVoice3 进行多项升级，包括首包延迟降低50%，中英混字准确率翻倍，
支持9种通用语言、18种方言口音以及跨语种克隆与情感控制。此外，Fun-CosyVoice3-0.5B
正式开源，提供zero-shot音色克隆能力，仅需3秒录音即可复刻音色并合成新语音，同时支持
本地部署与二次开发，为开发者提供强大的语音合成工具。

![CosyVoice 2.0](https://paooo.com/wp-content/uploads/2026/07/CosyVoice-2.0-website-
1.avif)

## CosyVoice的主要功能

 * **超低延迟的流式语音合成**：支持双向流式语音合成，首包合成延迟可达150ms，适合
   实时应用场景。
 * **高准确度的发音**：相比前版本，发音错误率显著下降，尤其在处理绕口令、多音字、
   生僻字上表现突出。
 * **音色一致性**：在零样本和跨语言语音合成中保持音色高度一致性，提升合成自然度。
 * **自然体验**：合成音频的韵律、音质、情感匹配得到提升，MOS评测分提高，接近商业
   化语音合成大模型。
 * **多语言支持**：在大规模多语言数据集上训练，实现跨语言的语音合成能力。

## CosyVoice的技术原理

 * **LLM backbone**：基于预训练的文本基座大模型（如Qwen2.5-0.5B），替换原有的Text
   Encoder + random Transformer结构，进行文本的语义建模。
 * **FSQ Speech Tokenizer**：用全尺度量化（FSQ）替换向量量化（VQ），训练更大的码
   本（6561），实现100%激活，提升发音准确性。
 * **离线和流式一体化建模方案**：提出一体化建模方案，让LLM和FM均支持流式推理，实现
   快速合成首包音频。
 * **指令可控的音频生成能力升级**：优化基模型和指令模型的整合，支持情感、说话风格
   和细粒度控制指令，新增中文指令处理能力。
 * **多模态大模型技术**：基于多模态大模型技术，实现语音识别、语音合成、自然语言理解
   等AI技术，提供“能听、会说、懂你”式的智能人机交互体验。

## CosyVoice的项目地址

 * **项目官网**：[https://funaudiollm.github.io/cosyvoice2/](https://funaudiollm.github.io/cosyvoice2/)
 * **GitHub仓库**：[https://github.com/FunAudioLLM/CosyVoice](https://github.com/FunAudioLLM/CosyVoice)
 * **HuggingFace模型库**：https://huggingface.co/FunAudioLLM/Fun-CosyVoice3-0.5B-
   2512
 * **技术论文**：[https://funaudiollm.github.io/pdf/CosyVoice_2.pdf](https://funaudiollm.github.io/pdf/CosyVoice_2.pdf)
 * **CosyVoice 3技术论文**：https://arxiv.org/pdf/2505.17589

## CosyVoice的应用场景

 * **智能助手和聊天机器人**：为智能助手和聊天机器人提供自然流畅的语音输出，提升用户
   体验。
 * **有声读物和音频书籍**：生成高质量的有声读物，支持多种语言和方言，满足不同用户
   的需求。
 * **视频配音和解说**：为视频内容提供配音服务，包括教育视频、企业宣传片、电影和电视
   剧的配音。
 * **客户服务和呼叫中心**：在客户服务中提供语音交互，提高服务效率和客户满意度。
 * **语言学习和教育**：辅助语言学习，提供标准发音的语音示范，帮助学习者提高发音准确
   性。

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/24848/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)