# VoxCPM：面壁智能联合清华推出0.5B参数语音模型，实现业界顶尖零样本克隆与实时合成

- Link: https://paooo.com/aigc-news/13640/
- Published: 2026-06-21T08:42:22+08:00
- Author: Prompt 语宙研究院

> **💡 站外导读：**随着AI语音技术爆发，高质量、高效率的语音生成成为行业焦点。传统
> 模型常面临自然度不足、克隆效果差、推理速度慢等痛点。面壁智能与清华大学联合推出
> 的VoxCPM，以仅0.5B参数实现业界顶尖合成效果，通过端到端扩散自回归架构突破离散分词
> 局限，其零样本克隆能力与高效推理为语音应用带来全新可能。

## VoxCPM是什么

VoxCPM 是面壁智能与清华大学深圳国际研究生院联合开发的 0.5B 参数语音生成模型。在语音
合成的自然度、音色相似度及韵律表现力方面达到了业界顶尖水平。VoxCPM 采用端到端的扩散
自回归架构，直接从文本生成连续语音表示，突破了传统离散分词的局限。通过分层语言建
模和有限状态量化约束，实现了语义与声学的隐式解耦，显著提升了语音的表达力和生成稳定
性。VoxCPM 支持零样本[声音克隆](https://ai-bot.cn/ai-voice-cloning-tools/)，仅需
一段参考音频，能精准复刻说话者的音色、口音、情感语调等特征，生成高度逼真的语音。
推理效率极高，在 NVIDIA RTX 4090 GPU 上，实时因子（RTF）低至 0.17，可满足实时应用
需求。VoxCPM 支持中英双语声音复刻，能合成公式、符号音频，实现自定义读音纠正。

阅读目录

 * [VoxCPM是什么](https://paooo.com/aigc-news/13640/#voxcpm%e6%98%af%e4%bb%80%e4%b9%88)
 * [VoxCPM的主要功能](https://paooo.com/aigc-news/13640/#voxcpm%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [VoxCPM的技术原理](https://paooo.com/aigc-news/13640/#voxcpm%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [VoxCPM的项目地址](https://paooo.com/aigc-news/13640/#voxcpm%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [VoxCPM的应用场景](https://paooo.com/aigc-news/13640/#voxcpm%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/13640/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![VoxCPM](https://paooo.com/wp-content/uploads/2026/05/VoxCPM-website-1.avif)

## VoxCPM的主要功能

 * **上下文感知语音生成**：VoxCPM能深度理解文本内容，根据文本的语义推断并生成合适
   的韵律，输出极具表现力且流畅自然的语音。可以根据文本内容自主调整说话风格，基于
   海量的180万小时双语语料库训练，生成高度契合的个性化声音表达。
 * **零样本语音克隆**：仅需一小段参考音频，VoxCPM可实现精准的零样本语音克隆。能完美
   复刻说话者的音色，能捕捉口音、情感语调、节奏和停顿等细微特征，打造出高度忠实且
   自然的仿声声音。
 * **高效合成**：VoxCPM支持流式合成，在消费级NVIDIA RTX 4090 GPU上，其实时因子（
   RTF）低至0.17，可轻松满足实时应用的需求。
 * **多语言支持**：VoxCPM主要针对英语和中文进行训练，能生成高质量的中英双语语音，
   适用于多种语言环境和应用场景。
 * **灵活的文本输入方式**：VoxCPM支持多种文本输入方式，包括普通文本输入和音素输入。
   用户可以根据需要选择不同的输入模式，实现更精确的发音控制。
 * **强大的语音处理能力**：VoxCPM能处理复杂的文本内容，包括公式、符号等特殊文本，
   生成对应的语音输出。支持自定义读音纠正，用户可以通过音素标记替换来实现特定的发音
   需求。

## VoxCPM的技术原理

 * **端到端扩散自回归架构**：VoxCPM 采用端到端的扩散自回归（Diffusion Autoregressive）
   架构，直接从文本生成连续的语音表示，突破了传统离散分词的局限，能更自然地处理语音
   的连续性。
 * **分层语言建模与 FSQ 约束**：通过分层语言建模（Hierarchical Language Modeling）
   和有限状态量化（FSQ）约束，VoxCPM 实现了隐式的语义-声学解耦（Semantic-Acoustic
   Decoupling），显著增强了语音的表达力和生成稳定性。
 * **局部音频编码模块（LocEnc Module）**：模块负责对输入的文本进行编码，提取文本
   的语义信息，将其转换为适合语音生成的中间表示。
 * **文本-语义语言模型（Text-Semantic LM, TSLM）**：TSLM 负责对文本的语义进行建模，
   生成与文本内容相关的语义表示，为后续的语音生成提供语义基础。
 * **残差声学语言模型（Residual Acoustic LM, RALM）**：RALM 在 TSLM 的基础上进一步
   细化声学特征，添加声学细节，使生成的语音更加自然和逼真。
 * **局部扩散生成模块（LocDiT Module）**：LocDiT 模块通过扩散过程生成连续的语音特征，
   将语义和声学信息融合，最终生成高质量的语音波形。
 * **因果式 VAE 编解码器**：用于将原始音频波形压缩至低帧率的隐空间，并将生成的语音
   表征重构回波形信号，确保生成的语音具有良好的质量和稳定性。

## VoxCPM的项目地址

 * **Github仓库**： https://github.com/OpenBMB/VoxCPM/
 * **Hugging Face模型库**:  https://huggingface.co/openbmb/VoxCPM-0.5B
 * **在线体验Demo**: https://huggingface.co/spaces/OpenBMB/VoxCPM-Demo

## VoxCPM的应用场景

 * **语音助手**：VoxCPM 可以为智能语音助手提供自然流畅的语音合成能力，能以更接近
   人类的语音与用户进行交互，提升用户体验。
 * **有声读物**：能将文本内容转换为高质量的语音，适用于制作有声读物、有声小说等，
   为用户带来更加生动的听觉享受。
 * **语音播报**：可用于天气预报、新闻播报、交通信息播报等场景，生成清晰自然的语音
   播报内容，提高信息传递的效率和准确性。
 * **语音克隆**：VoxCPM 的零样本语音克隆能力可以用于创建个性化的声音，例如为虚拟
   角色、智能客服等赋予独特的语音特征，增强其真实感和辨识度。
 * **教育领域**：在语言学习、在线教育等场景中，VoxCPM 可以生成标准的语音示例，帮助
   学习者更好地模仿和学习发音。
 * **娱乐产业**：在游戏、动画、影视等娱乐领域，VoxCPM 可以生成各种角色的语音，丰富
   内容的表现力和吸引力。

#### 📝 站长洞察 (Editor’s Insight)

VoxCPM的发布标志着小参数语音模型进入‘性能跃迁’新阶段。其0.5B参数实现顶尖效果，体现
了‘以小博大’的技术趋势——在有限算力下追求极致效率与质量，这对边缘部署和实时应用至
关重要。零样本克隆结合中英双语支持，直击全球化内容创作与个性化交互的需求。更值得
关注的是其隐式语义-声学解耦设计，这可能是未来语音模型平衡表现力与稳定性的关键路径。
在[AIGC](https://paooo.com/aigc-news/)竞争白日化的当下，VoxCPM展示了从‘可用’到‘好用’
的工程化突破，为语音助手、教育、娱乐产业提供了更务实的技术底座。

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/13640/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)