# Muyan-TTS – 开源文本转语音模型，零样本语音合成

- Link: https://paooo.com/aigc-news/19002/
- Published: 2026-06-09T09:42:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于 GPT-SoVITS 框架，结合 Llama-3.2-3B 与 SoVITS，实现文本到语音的高质量生成。
 * 支持零样本合成和少量语音微调，可快速做出个性化说话人声音。
 * 0.33秒生成1秒音频，且支持本地部署，适合播客、有声书和实时应用。

## Muyan-TTS是什么

Muyan-TTS 是为播客场景设计的开源[文本转语音](https://ai-bot.cn/ai-text-to-speech-tools/)（
TTS）模型。模型预训练超过10万小时的播客音频数据，能实现零样本语音合成，无需大量目标
说话人的语音数据可生成高质量语音。模型支持说话人适配，进行个性化语音定制。Muyan-
TTS 合成速度快，0.33秒能生成1秒音频，适合实时应用。Muyan-TTS 能自然连贯地合成长篇
内容，如播客、有声书等，支持本地部署和API使用，方便集成到各种应用中。

阅读目录

 * [Muyan-TTS是什么](https://paooo.com/aigc-news/19002/#muyantts%e6%98%af%e4%bb%80%e4%b9%88)
 * [Muyan-TTS的主要功能](https://paooo.com/aigc-news/19002/#muyantts%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Muyan-TTS的技术原理](https://paooo.com/aigc-news/19002/#muyantts%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Muyan-TTS的项目地址](https://paooo.com/aigc-news/19002/#muyantts%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Muyan-TTS的应用场景](https://paooo.com/aigc-news/19002/#muyantts%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Muyan-TTS](https://paooo.com/wp-content/uploads/2026/06/Muyan-TTS-website-1.avif)

## Muyan-TTS的主要功能

 * **零样本语音合成**：无需大量目标说话人数据，用少量参考语音和文本生成高质量语音。
 * **说话人适配**：基于少量目标说话人语音数据微调，实现个性化语音定制。
 * **快速生成**：0.33秒生成1秒音频，适合实时和批量生成长语音内容。
 * **长内容连贯合成**：支持自然连贯地合成长篇内容，如播客、有声书等。
 * **离线部署友好**：支持本地推理，确保数据隐私和低延迟。

## Muyan-TTS的技术原理

 * **框架设计**：基于 GPT-SoVITS 框架，用预训练的 Llama-3.2-3B 作为语言模型（LLM），
   结合 SoVITS 模型进行音频解码。LLM 负责将文本和音频 token 对齐，生成中间表示，
   SoVITS 模型将中间表示解码为音频波形。
 * **数据处理**：数据集包含超过10万小时的播客音频数据，经过多阶段处理，包括数据收集、
   清洗和格式化，确保高质量和多样性。用自动语音识别（ASR）模型将音频转录为文本，
   将音频嵌入量化为离散 token，形成平行语料库。
 * **预训练与微调**：LLM 在平行语料库上进行预训练，学习文本和音频 token 之间的关系。
   基于监督微调（SFT），用少量目标说话人的语音数据进一步优化模型，提高语音合成的
   自然度和相似度。
 * **解码器优化**：基于 VITS 基础模型作为解码器，减少幻觉问题，提高语音生成的稳定
   性和自然度。解码器在高质量音频数据上进行微调，进一步提升合成语音的保真度和表现
   力。
 * **推理加速**：高效的内存管理和并行推理技术，提高推理速度，降低延迟。支持 API 
   模式，自动启用加速功能，适合实时应用。

## Muyan-TTS的项目地址

 * **GitHub仓库**：[https://github.com/MYZY-AI/Muyan-TTS](https://github.com/MYZY-AI/Muyan-TTS)
 * **HuggingFace模型库**：[https://huggingface.co/MYZY-AI/Muyan-TTS](https://huggingface.co/MYZY-AI/Muyan-TTS)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2504.19146](https://arxiv.org/pdf/2504.19146)

## Muyan-TTS的应用场景

 * **播客和有声书**：生成长篇内容，自然连贯，节省录制时间。
 * **视频配音**：快速合成英文脚本配音，适配不同角色。
 * **AI 角色和语音助手**：生成特色角色语音，提供自然交互体验。
 * **新闻播报**：高效将文本转语音，适合智能设备播报。
 * **教育和游戏**：生成教学语音和游戏旁白，提升学习和娱乐体验。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

Muyan-TTS适合做什么场景？

它主要面向播客、有声书、视频配音、新闻播报、AI 角色语音和教育游戏等长音频场景，优势
是合成自然连贯、速度快，并支持本地部署，适合对延迟和隐私有要求的应用。

Muyan-TTS支持零样本语音合成吗？

支持。它可以在无需大量目标说话人数据的情况下，结合少量参考语音和文本生成高质量语音；
如果需要更强的个性化效果，还可以基于少量目标语音做说话人适配。

Muyan-TTS的技术基础是什么？

它基于 GPT-SoVITS 框架，使用预训练的 Llama-3.2-3B 作为语言模型，并结合 SoVITS/VITS
解码器完成音频生成；训练数据来自超过10万小时播客音频，并经过清洗、转录和离散化处理。

🔬 语宙深潜追问 · 进阶实操拆解

播客级TTS如何保证自然度？

关键在韵律、停连和情绪控制，不只是音色像。实操上要准备高质量参考音频，控制文本切
分长度，并对专有名词、数字和英文缩写做预处理，减少机械断句和发音错误。

本地部署TTS要注意什么？

先评估显存、推理延迟和批量生成吞吐，再决定是否量化或分段合成。若用于隐私场景，建议
把音频生成、缓存和日志全部留在内网，并限制说话人克隆权限，避免被滥用。

🗳️ 读者观点微投票 · 您的实战立场是？

零样本TTS最难的是像不像人吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🚀 所属权威专题：AI 办公提效与神器评测 →](https://paooo.com/topics/ai-productivity-tools/)

 * [MegaTTS 3 – 字节与浙江大学合作推出的零样本语音合成系统](https://paooo.com/aigc-news/20640/)
 * [Spark-TTS – AI文本转语音工具，支持中英零样本语音克隆](https://paooo.com/aigc-news/21384/)
 * [OuteTTS – 开源的文本到语音合成项目，基于纯语言建模方法生成语音](https://paooo.com/aigc-news/25790/)
 * [Qwen-Audio-3.0-TTS – 阿里通义千问推出的语音合成模型](https://paooo.com/aigc-news/32346/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/19002/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
