# 清华实验室重磅开源！MOSS-TTSD：百万小时数据训练的口语对话语音生成模型，支持零样本克隆与中英双语

- Link: https://paooo.com/aigc-news/14524/
- Published: 2026-06-26T14:42:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 百万小时级语音数据训练，结合 Qwen3 与 XY-Tokenizer，强化语义与声学对齐。
 * 支持零样本多说话人音色克隆、中英双语生成，适合对话式内容生产。
 * 最长可一次性生成 960 秒音频，开源且商业就绪，降低长音频制作门槛。

> **💡 站外导读：**当前AI语音技术虽进步显著，但在多人对话语音生成上仍面临挑战：音色
> 切换不自然、双语支持有限、长音频拼接痕迹明显。MOSS-TTSD的开源，正是针对这些行业
> 痛点而来。它由顶尖实验室打造，基于超大规模数据训练，旨在彻底改变AI播客、访谈等
> 内容生产方式，标志着AIGC在音频领域进入新阶段。

## MOSS-TTSD是什么

MOSS-TTSD（Text to Spoken Dialogue）是开源的口语对话语音生成模型，由清华大学语音
与语言实验室（Tencent AI Lab）开发。能将文本对话脚本转化为自然流畅、富有表现力的
对话语音，支持中英文双语生成。模型基于先进的语义-音学神经网络音频编解码器和大规模
预训练语言模型，结合了超过100万小时的单人语音数据和40万小时的对话语音数据进行训练。
支持零样本语音克隆，能根据对话脚本生成准确的对话者切换语音，适用于AI播客、访谈、
新闻报道等多种场景。

阅读目录

 * [MOSS-TTSD是什么](https://paooo.com/aigc-news/14524/#mossttsd%e6%98%af%e4%bb%80%e4%b9%88)
 * [MOSS-TTSD的主要功能](https://paooo.com/aigc-news/14524/#mossttsd%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MOSS-TTSD的技术原理](https://paooo.com/aigc-news/14524/#mossttsd%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [MOSS-TTSD的项目地址](https://paooo.com/aigc-news/14524/#mossttsd%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MOSS-TTSD的应用场景](https://paooo.com/aigc-news/14524/#mossttsd%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/14524/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![MOSS-TTSD](https://paooo.com/wp-content/uploads/2026/05/MOSS-TTSD-website-1.avif)

## MOSS-TTSD的主要功能

 * **高表现力对话语音生成**：能将对话脚本转换为自然、富有表现力的对话语音，准确捕捉
   对话中的韵律、语调等特性。
 * **零样本多说话人音色克隆**：支持根据对话脚本生成准确的对话者切换语音，无需额外
   样本即可实现两位对话者的音色克隆。
 * **中英双语支持**：可在中文和英文两种语言中生成高质量的对话语音。
 * **长篇语音生成**：基于低比特率编解码器和优化的训练框架，能一次性生成超长语音，
   避免拼接语音片段的不自然过渡。
 * **完全开源且商业就绪**：模型权重、推理代码和API接口均已开源，支持免费商业使用。

## MOSS-TTSD的技术原理

 * **基础模型架构**：MOSS-TTSD 基于 Qwen3-1.7B-base 模型进行续训练，采用离散化语音
   序列建模方法。模型通过八层 RVQ（Residual Vector Quantization）码本对语音进行离散
   化处理，将连续的语音信号转换为离散的 token 序列。这些 token 序列通过自回归加 
   Delay Pattern 的方式生成，最后通过 Tokenizer 的解码器将 token 还原为语音。
 * **语音离散化与编码器创新**：核心创新之一是 XY-Tokenizer，是专门设计的语音离散
   化编码器。XY-Tokenizer 采用双阶段多任务学习方式训练：
    - **第一阶段**：训练自动语音识别（ASR）任务和重建任务，让编码器在编码语义信息
      的同时保留粗粒度的声学信息。
    - **第二阶段**：固定编码器和量化层，仅训练解码器部分，通过重建损失和 GAN 损失
      补充细粒度声学信息。 XY-Tokenizer 在 1kbps 的比特率和 12.5Hz 的帧率下，能同时
      建模语义和声学信息，性能优于其他同类 Codec。
 * **数据处理与预训练**：MOSS-TTSD 使用了约 100 万小时的单说话人语音数据和 40 万
   小时的对话语音数据进行训练。团队设计了高效的数据处理流水线，从海量原始音频中筛选
   出高质量的单人语音和多人对话语音，进行标注。模型进行了 TTS 预训练，使用 110 万
   小时的中英文 TTS 数据显著增强了语音韵律和表现力。
 * **长语音生成能力**：基于超低比特率的 Codec，MOSS-TTSD 支持最长 960 秒的音频生成，
   能一次性生成超长语音，避免了拼接语音片段之间的不自然过渡。

## MOSS-TTSD的项目地址

 * **项目官网**：https://www.open-moss.com/en/moss-ttsd/
 * **Github仓库**：https://github.com/OpenMOSS/MOSS-TTSD
 * **HuggingFace模型库**：https://huggingface.co/fnlp/MOSS-TTSD-v0.5
 * **在线体验Demo**：https://huggingface.co/spaces/fnlp/MOSS-TTSD

## MOSS-TTSD的应用场景

 * **AI 播客制作**：MOSS-TTSD 能生成自然流畅的对话语音，特别适合用于 AI 播客的制作。
   可以模拟真实的对话场景，生成高质量的播客内容。
 * **影视配音**：模型支持中英双语的高表现力对话语音生成，能进行零样本音色克隆，适用
   于影视作品中的对话配音。
 * **长篇访谈**：MOSS-TTSD 支持最长 960 秒的音频生成，能一次性生成超长语音，避免
   了拼接语音片段之间的不自然过渡，非常适合长篇访谈的语音生成。
 * **新闻报道**：在新闻报道中，MOSS-TTSD 可以生成自然的对话式语音，用于播报新闻内容，
   提升新闻的吸引力。
 * **电商直播**：模型可以用于数字人对话带货等电商直播场景，通过生成自然的对话语音
   来吸引观众。

#### 📝 站长洞察 (Editor’s Insight)

MOSS-TTSD的发布，绝非单一模型的更新，它揭示了[AIGC](https://paooo.com/aigc-news/)
语音合成正从单人播报向复杂场景对话演进的关键趋势。其核心突破在于：1）利用百万小时
级数据与超低比特率Codec，解决了长音频生成的连贯性难题；2）将大语言模型（如Qwen3）
的文本理解能力与创新的XY-Tokenizer语音编码结合，实现了语义与声学的精准对齐。这标志
着语音生成正式迈入“剧情化”时代。对于开发者而言，其完全开源、商业就绪的策略将极大
降低构建有声内容（如有声书、互动叙事）的门槛。未来，结合虚拟形象，此类技术或将催生
全新的沉浸式交互媒介。站长应密切关注其开源生态的演进与垂直场景的应用落地。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

MOSS-TTSD适合做什么场景？

它主要面向对话式语音生成，适合 AI 播客、长篇访谈、新闻播报、影视配音和电商直播等
场景。优势在于能生成自然连贯的多人对话语音，并支持中英双语与零样本音色克隆。

MOSS-TTSD支持零样本克隆吗？

支持。模型可根据对话脚本直接生成两位对话者的切换语音，无需额外提供目标说话人的样本，
就能实现零样本音色克隆，适合快速制作对话内容。

MOSS-TTSD最长能生成多长音频？

文中提到它支持最长 960 秒的音频一次性生成。借助超低比特率 Codec 和优化训练框架，
可减少长音频拼接带来的断裂感和不自然过渡。

🔬 语宙深潜追问 · 进阶实操拆解

零样本克隆商用最怕什么？

最怕授权不清、音色滥用和品牌风险。上线前应加入明确授权链路、音色水印和敏感场景拦截，
并把“可克隆”限制在白名单用途里，否则技术越强，合规压力越大。

960秒长音频生成怎么保证不崩？

长音频要靠分段规划、全局韵律约束和跨段一致性控制。实践中先生成结构骨架，再逐段补
细节，并在段间加入过渡缓存，才能减少跑调、重复和节奏漂移。

🗳️ 读者观点微投票 · 您的实战立场是？

百万小时训练的TTS，能直接商用替代真人吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🚀 所属权威专题：AI 办公提效与神器评测 →](https://paooo.com/topics/ai-productivity-tools/)

 * [Qwen3-TTS深度解析：阿里通义开源12Hz多码本语音模型，实现97ms超低延迟与精准音色克隆](https://paooo.com/aigc-news/11853/)
 * [GLM-TTS重磅开源：智谱AI发布声音克隆与情感语音合成模型，重塑多行业应用](https://paooo.com/aigc-news/12792/)
 * [MegaTTS 3 – 字节与浙江大学合作推出的零样本语音合成系统](https://paooo.com/aigc-news/20640/)
 * [阿里通义Qwen-TTS语音合成模型发布：支持中英文、方言与流式输出，助力智能交互新时代](https://paooo.com/aigc-news/14596/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/14524/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
