# GLM-4-Voice – 智谱AI推出的端到端情感语音模型

- Link: https://paooo.com/aigc-news/26054/
- Published: 2026-07-17T23:48:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 端到端统一建模语音理解与生成，减少级联方案的信息损失，提升自然度与流畅性。
 * 支持情感、语速、方言与实时打断，低延迟流式对话更适合真实交互场景。
 * 基于GLM-4-9B预训练对齐，结合音频Tokenizer与Flow Matching解码器实现高质量语音输出。

## GLM-4-Voice是什么

GLM-4-Voice是[智谱AI](https://ai-bot.cn/sites/2005.html)推出的端到端情感语音模型，
能直接理解和生成中英文语音，支持实时语音对话，能根据用户指令灵活调整语音的情感、
语调、语速和方言等特征。模型由三个部分组成：GLM-4-Voice-Tokenizer负责将连续语音转换
为离散token，GLM-4-Voice-Decoder将token转换回连续语音输出，GLM-4-Voice-9B基于GLM-
4-9B模型进行预训练和对齐，理解和生成语音。GLM-4-Voice的设计用端到端建模减少信息损失，
提高语音交互的自然度和流畅性，且支持低延迟的实时对话，为用户提供更加丰富和自然的
语音交互体验。

阅读目录

 * [GLM-4-Voice是什么](https://paooo.com/aigc-news/26054/#glm4voice%e6%98%af%e4%bb%80%e4%b9%88)
 * [GLM-4-Voice的主要功能](https://paooo.com/aigc-news/26054/#glm4voice%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [GLM-4-Voice的技术原理](https://paooo.com/aigc-news/26054/#glm4voice%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [GLM-4-Voice的项目地址](https://paooo.com/aigc-news/26054/#glm4voice%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [GLM-4-Voice的应用场景](https://paooo.com/aigc-news/26054/#glm4voice%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![GLM-4-Voice](https://paooo.com/wp-content/uploads/2026/07/GLM-4-Voice-website-
1.avif)

## GLM-4-Voice的主要功能

 * **理解和生成语音**：直接理解和生成中英文语音，实现流畅的人机交互。
 * **情感表达**：模拟不同的情感和语调，如高兴、悲伤、生气、害怕等，让语音回复更加
   自然。
 * **调节语速**：根据用户的指令调整语音的语速，适于不同的对话场景。
 * **实时打断和指令输入**：支持用户随时打断语音输出，输入新的指令调整对话内容。
 * **多语言和方言支持**：支持中英文及多种中国方言，如粤语、重庆话、北京话等。
 * **低延迟交互**：设计流式思考架构，低延迟实现高质量的语音对话。

## GLM-4-Voice的技术原理

 * **端到端建模**：与传统的级联方案（ASR + LLM + TTS）不同，GLM-4-Voice在一个统一
   的模型中完成语音的理解和生成，避免信息损失。
 * **音频Tokenizer**：用有监督训练的音频Tokenizer将连续的语音输入转化为离散的token，
   用12.5Hz的低码率保留语义信息和副语言特征。
 * **语音解码器**：基于Flow Matching模型结构的语音解码器，将离散的语音token转化为
   连续的语音输出，最低只需10个token开始生成，降低对话延迟。
 * **预训练和对齐**：GLM-4-Voice-9B在GLM-4-9B的基础上进行预训练和对齐，理解和生成
   离散化的语音token。预训练用大量音频和文本数据，让模型具备强大的音频理解和建模
   能力。
 * **流式推理**：支持流式推理，模型能交替输出文本和语音，用文本作为参照保证回复内容
   的高质量，根据用户的语音指令实时调整语音输出。

## GLM-4-Voice的项目地址

 * **产品体验**：[https://ai-bot.cn/sites/2005.html](https://ai-bot.cn/sites/2005.html)
 * **项目官网**：[zhipuai.cn/news](https://zhipuai.cn/news/141?tab=1?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/THUDM/GLM-4-Voice](https://github.com/THUDM/GLM-4-Voice)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.02612](https://arxiv.org/pdf/2412.02612)

## GLM-4-Voice的应用场景

 * **智能助手**：在智能手机、智能家居设备中，作为智能助手，用语音交互帮助用户完成
   各种任务，如设置提醒、查询天气、控制家居设备等。
 * **客户服务**：在客户服务中心，作为虚拟客服，基于自然语言理解和语音合成技术，为
   用户提供咨询和解决问题的服务。
 * **教育和学习**：在教育领域，作为语言学习助手，帮助学生练习发音、听力和口语，提供
   个性化的学习建议。
 * **娱乐和媒体**：在娱乐行业，用在语音合成，为动画、游戏、有声书等提供自然、富有
   表现力的语音输出。
 * **新闻和播报**：用在新闻播报，将文本新闻快速转换为语音，提供给需要语音信息的用户。

❓ 常见问题解答（FAQ）

GLM-4-Voice适合做什么语音应用？

它适合智能助手、客户服务、教育学习、娱乐媒体和新闻播报等场景，尤其适合需要实时语音
交互、情感表达和方言支持的应用。

GLM-4-Voice和传统ASR+TTS方案有什么区别？

GLM-4-Voice采用端到端统一建模，在一个模型中完成语音理解与生成，避免ASR、LLM、TTS
级联带来的信息损失，交互更自然、延迟更低。

GLM-4-Voice支持哪些语音特征调节？

它支持中英文语音理解与生成，并可根据指令调整情感、语调、语速和方言特征，还支持实
时打断和流式推理。

🔬 语宙深潜追问 · 进阶实操拆解

情感语音模型落地，最该控制哪些参数？

重点控制语速、停顿、音高和情绪强度，避免过度拟人导致不自然。上线前要做多轮A/B测试，
按场景设定可调范围，确保在安抚、提醒和解释时语气一致且可控。

中英文混说和方言支持，怎么避免发音崩坏？

需要统一音素表示和语言切换策略，并在训练数据里覆盖混读、口语和方言样本。推理时最好
加入文本规范化和发音纠错层，减少专有名词、数字和中英夹杂时的读音错误。

🗳️ 读者观点微投票 · 您的实战立场是？

端到端情感语音，客服场景最值得上吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🏮 所属权威专题：国产大模型选型与资费对比 →](https://paooo.com/topics/domestic-llm-ecosystem/)

 * [GLM-TTS重磅开源：智谱AI发布声音克隆与情感语音合成模型，重塑多行业应用](https://paooo.com/aigc-news/12792/)
 * [智源研究院开源FLM-Audio：全双工音频对话模型，边听边说、低延迟、支持中英双语](https://paooo.com/aigc-news/13526/)
 * [SpeechGPT 2.0-preview – 复旦大学推出的端到端实时语音交互模型](https://paooo.com/aigc-news/22525/)
 * [VITA-Audio – 开源的端到端多模态语音大模型，低延迟、推理快](https://paooo.com/aigc-news/19921/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/26054/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
