Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 清华实验室重磅开源!MOSS-TTSD:百万小时数据训练的口语对话语音生成模型,支持零样本克隆与中英双语
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
清华实验室重磅开源!MOSS-TTSD:百万小时数据训练的口语对话语音生成模型,支持零样本克隆与中英双语
Prompt 语宙 > AI 工具 > 清华实验室重磅开源!MOSS-TTSD:百万小时数据训练的口语对话语音生成模型,支持零样本克隆与中英双语
AI 工具AIGC 资讯

清华实验室重磅开源!MOSS-TTSD:百万小时数据训练的口语对话语音生成模型,支持零样本克隆与中英双语

Prompt 语宙研究院
最近更新: 2026年6月7日 下午8:24
AIGC MOSS-TTSD 清华大学 语音生成模型 零样本语音克隆
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 百万小时级语音数据训练,结合 Qwen3 与 XY-Tokenizer,强化语义与声学对齐。
  • 支持零样本多说话人音色克隆、中英双语生成,适合对话式内容生产。
  • 最长可一次性生成 960 秒音频,开源且商业就绪,降低长音频制作门槛。

💡 站外导读:当前AI语音技术虽进步显著,但在多人对话语音生成上仍面临挑战:音色切换不自然、双语支持有限、长音频拼接痕迹明显。MOSS-TTSD的开源,正是针对这些行业痛点而来。它由顶尖实验室打造,基于超大规模数据训练,旨在彻底改变AI播客、访谈等内容生产方式,标志着AIGC在音频领域进入新阶段。

MOSS-TTSD是什么

MOSS-TTSD(Text to Spoken Dialogue)是开源的口语对话语音生成模型,由清华大学语音与语言实验室(Tencent AI Lab)开发。能将文本对话脚本转化为自然流畅、富有表现力的对话语音,支持中英文双语生成。模型基于先进的语义-音学神经网络音频编解码器和大规模预训练语言模型,结合了超过100万小时的单人语音数据和40万小时的对话语音数据进行训练。支持零样本语音克隆,能根据对话脚本生成准确的对话者切换语音,适用于AI播客、访谈、新闻报道等多种场景。

阅读目录
  • MOSS-TTSD是什么
  • MOSS-TTSD的主要功能
  • MOSS-TTSD的技术原理
  • MOSS-TTSD的项目地址
  • MOSS-TTSD的应用场景
      • 📝 站长洞察 (Editor’s Insight)

MOSS-TTSD

MOSS-TTSD的主要功能

  • 高表现力对话语音生成:能将对话脚本转换为自然、富有表现力的对话语音,准确捕捉对话中的韵律、语调等特性。
  • 零样本多说话人音色克隆:支持根据对话脚本生成准确的对话者切换语音,无需额外样本即可实现两位对话者的音色克隆。
  • 中英双语支持:可在中文和英文两种语言中生成高质量的对话语音。
  • 长篇语音生成:基于低比特率编解码器和优化的训练框架,能一次性生成超长语音,避免拼接语音片段的不自然过渡。
  • 完全开源且商业就绪:模型权重、推理代码和API接口均已开源,支持免费商业使用。

MOSS-TTSD的技术原理

  • 基础模型架构:MOSS-TTSD 基于 Qwen3-1.7B-base 模型进行续训练,采用离散化语音序列建模方法。模型通过八层 RVQ(Residual Vector Quantization)码本对语音进行离散化处理,将连续的语音信号转换为离散的 token 序列。这些 token 序列通过自回归加 Delay Pattern 的方式生成,最后通过 Tokenizer 的解码器将 token 还原为语音。
  • 语音离散化与编码器创新:核心创新之一是 XY-Tokenizer,是专门设计的语音离散化编码器。XY-Tokenizer 采用双阶段多任务学习方式训练:
    • 第一阶段:训练自动语音识别(ASR)任务和重建任务,让编码器在编码语义信息的同时保留粗粒度的声学信息。
    • 第二阶段:固定编码器和量化层,仅训练解码器部分,通过重建损失和 GAN 损失补充细粒度声学信息。 XY-Tokenizer 在 1kbps 的比特率和 12.5Hz 的帧率下,能同时建模语义和声学信息,性能优于其他同类 Codec。
  • 数据处理与预训练:MOSS-TTSD 使用了约 100 万小时的单说话人语音数据和 40 万小时的对话语音数据进行训练。团队设计了高效的数据处理流水线,从海量原始音频中筛选出高质量的单人语音和多人对话语音,进行标注。模型进行了 TTS 预训练,使用 110 万小时的中英文 TTS 数据显著增强了语音韵律和表现力。
  • 长语音生成能力:基于超低比特率的 Codec,MOSS-TTSD 支持最长 960 秒的音频生成,能一次性生成超长语音,避免了拼接语音片段之间的不自然过渡。

MOSS-TTSD的项目地址

  • 项目官网:https://www.open-moss.com/en/moss-ttsd/
  • Github仓库:https://github.com/OpenMOSS/MOSS-TTSD
  • HuggingFace模型库:https://huggingface.co/fnlp/MOSS-TTSD-v0.5
  • 在线体验Demo:https://huggingface.co/spaces/fnlp/MOSS-TTSD

MOSS-TTSD的应用场景

  • AI 播客制作:MOSS-TTSD 能生成自然流畅的对话语音,特别适合用于 AI 播客的制作。可以模拟真实的对话场景,生成高质量的播客内容。
  • 影视配音:模型支持中英双语的高表现力对话语音生成,能进行零样本音色克隆,适用于影视作品中的对话配音。
  • 长篇访谈:MOSS-TTSD 支持最长 960 秒的音频生成,能一次性生成超长语音,避免了拼接语音片段之间的不自然过渡,非常适合长篇访谈的语音生成。
  • 新闻报道:在新闻报道中,MOSS-TTSD 可以生成自然的对话式语音,用于播报新闻内容,提升新闻的吸引力。
  • 电商直播:模型可以用于数字人对话带货等电商直播场景,通过生成自然的对话语音来吸引观众。

📝 站长洞察 (Editor’s Insight)

MOSS-TTSD的发布,绝非单一模型的更新,它揭示了AIGC语音合成正从单人播报向复杂场景对话演进的关键趋势。其核心突破在于:1)利用百万小时级数据与超低比特率Codec,解决了长音频生成的连贯性难题;2)将大语言模型(如Qwen3)的文本理解能力与创新的XY-Tokenizer语音编码结合,实现了语义与声学的精准对齐。这标志着语音生成正式迈入“剧情化”时代。对于开发者而言,其完全开源、商业就绪的策略将极大降低构建有声内容(如有声书、互动叙事)的门槛。未来,结合虚拟形象,此类技术或将催生全新的沉浸式交互媒介。站长应密切关注其开源生态的演进与垂直场景的应用落地。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
MOSS-TTSD适合做什么场景?

它主要面向对话式语音生成,适合 AI 播客、长篇访谈、新闻播报、影视配音和电商直播等场景。优势在于能生成自然连贯的多人对话语音,并支持中英双语与零样本音色克隆。

MOSS-TTSD支持零样本克隆吗?

支持。模型可根据对话脚本直接生成两位对话者的切换语音,无需额外提供目标说话人的样本,就能实现零样本音色克隆,适合快速制作对话内容。

MOSS-TTSD最长能生成多长音频?

文中提到它支持最长 960 秒的音频一次性生成。借助超低比特率 Codec 和优化训练框架,可减少长音频拼接带来的断裂感和不自然过渡。

🔬 语宙深潜追问 · 进阶实操拆解
零样本克隆商用最怕什么?

最怕授权不清、音色滥用和品牌风险。上线前应加入明确授权链路、音色水印和敏感场景拦截,并把“可克隆”限制在白名单用途里,否则技术越强,合规压力越大。

960秒长音频生成怎么保证不崩?

长音频要靠分段规划、全局韵律约束和跨段一致性控制。实践中先生成结构骨架,再逐段补细节,并在段间加入过渡缓存,才能减少跑调、重复和节奏漂移。

🗳️ 读者观点微投票 · 您的实战立场是?
百万小时训练的TTS,能直接商用替代真人吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🚀 所属权威专题:AI 办公提效与神器评测 →
  • Qwen3-TTS深度解析:阿里通义开源12Hz多码本语音模型,实现97ms超低延迟与精准音色克隆
  • GLM-TTS重磅开源:智谱AI发布声音克隆与情感语音合成模型,重塑多行业应用
  • MegaTTS 3 – 字节与浙江大学合作推出的零样本语音合成系统
  • 阿里通义Qwen-TTS语音合成模型发布:支持中英文、方言与流式输出,助力智能交互新时代
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
0.8B小参数逆袭千亿大模型!小米重磅开源Xiaomi-OCR-0:首创异构专家共识与渲染自校验、打通MCP工具链与超级小爱端侧落地全景实测拆解
The Agency 开源 AI Agent 角色库:144+ 专家团队,一键部署实现开发到营销全流程 AI 协作
港股AI大模型板块狂飙:MiniMax涨8%、智谱跟涨5%,双子星引领行业投资新风向
Search-o1 – 人大联合清华推出自主知识检索增强的推理框架
我国人工智能迎来全产业链突破,将加快《人工智能法》立法
TAGGED:AIGCMOSS-TTSD清华大学语音生成模型零样本语音克隆
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Agent Zero:开源AI智能体框架,让AI助手像人一样学习成长与协作 Agent Zero:开源AI智能体框架,让AI助手像人一样学习成长与协作
下一篇 Chrome MCP Server深度解析:用AI接管浏览器实现智能自动化与语义搜索 Chrome MCP Server深度解析:用AI接管浏览器实现智能自动化与语义搜索
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

Radaar AI Post Generator
AI 工具

Radaar AI Post Generator

remaker
AI办公效率 AI智能体 WhatsApp
Aidaptive
AI 工具

Aidaptive

remaker
AI办公效率 AI智能体 RAG检索增强
Picture it
AI 工具

Picture it

remaker
AI办公效率 AI绘画提示词 stable diffusion 开源大模型
Sky-T1 – NovaSky 开源的推理 AI 模型,可从零开始复现该模型
AIGC 资讯

Sky-T1 – NovaSky 开源的推理 AI 模型,可从零开始复现该模型

Prompt 语宙研究院
AI编程 HuggingFace OpenAI 大模型微调 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.