# SpeechGPT 2.0-preview – 复旦大学推出的端到端实时语音交互模型

- Link: https://paooo.com/aigc-news/22525/
- Published: 2026-06-08T22:49:14+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 端到端语音建模替代传统 ASR+TTS 级联，支持 200ms 以内低延迟实时交互。
 * 可精准控制语速、情感、音色与风格，具备诗歌朗诵、方言模仿等拟人化表达能力。
 * 兼顾语音表现力与文本能力，支持工具调用、联网搜索和知识库接入，适合多场景应用。

## SpeechGPT 2.0-preview是什么

SpeechGPT 2.0-preview 是复旦大学 OpenMOSS 团队推出的拟人化实时交互系统，基于百万
小时级中文语音数据训练，采用端到端架构，实现了语音与文本模态的高度融合。模型具有
拟人口语化表达、百毫秒级低延迟响应，支持自然流畅的实时打断交互。能精准控制语速、
情感、风格和音色，实现智能切换。SpeechGPT 2.0-preview 具备多种语音才艺，如诗歌朗诵、
故事讲述、说方言等。

阅读目录

 * [SpeechGPT 2.0-preview是什么](https://paooo.com/aigc-news/22525/#speechgpt-20preview%e6%98%af%e4%bb%80%e4%b9%88)
 * [SpeechGPT 2.0-preview的主要功能](https://paooo.com/aigc-news/22525/#speechgpt-20preview%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [SpeechGPT 2.0-preview的技术原理](https://paooo.com/aigc-news/22525/#speechgpt-20preview%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [SpeechGPT 2.0-preview的项目地址](https://paooo.com/aigc-news/22525/#speechgpt-20preview%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [SpeechGPT 2.0-preview的应用场景](https://paooo.com/aigc-news/22525/#speechgpt-20preview%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![SpeechGPT 2.0-preview](https://paooo.com/wp-content/uploads/2026/06/SpeechGPT-
2.0-preview-website-1.avif)

## SpeechGPT 2.0-preview的主要功能

 * **情感与风格控制**：支持多情感（如虚弱、欢快）、多音色（男女切换）及多风格（诗歌朗诵、
   方言模仿）的精准控制，角色扮演能力突出。
 * **实时打断交互**：百毫秒级响应速度支持自然对话中的即时打断与续接。
 * **文本能力集成**：在语音表现力基础上，保留文本模型的智商，支持工具调用、联网搜索、
   外挂知识库接入等功能。
 * **多任务兼容性**：可处理长文档解析、多轮对话等场景，兼容短文本任务的性能未因长
   上下文能力而降低。

## SpeechGPT 2.0-preview的技术原理

 * **端到端语音建模**
    - **超低比特率流式语音 Codec**：自研的超低比特率流式语音 Codec，能够处理 24khz
      的语音输入，将语音压缩至每秒 75 个 token，支持流式输入输出，实现 200ms 以内
      延迟的实时交互。
    - **语义-声学联合建模**：通过语义-声学联合建模，直接处理语音输入并生成语音或
      文本输出，无需传统级联式 ASR（语音识别）和 TTS（语音合成）模块。
 * **语音-文本混合建模**
    - **Codec Patchify**：通过 Codec Patchify 技术聚合相邻时间步的语音 token 为统一
      向量，有效减小语音和文本序列之间的模态差异，缓解跨模态建模中的冲突问题。
    - **多阶段训练流程**：包括模态适应预训练、跨模态指令微调和链式模态微调，兼顾
      文本能力与语音能力，避免模型在学习语音能力时降低智商。
 * **语音文本对齐预训练**：通过充分的语音文本对齐预训练，模型可以“涌现”出语音风格
   的泛化性，例如无需语速调整数据即可控制语速，或模仿未见过的角色语气风格。
 * **模型架构设计**
    - **语音文本联合建模**：speech-text LLM 会同时输入和输出语音和文本表示，LLM 
      的隐藏状态同时用于语音和文本的解码任务。
    - **多解码头的自回归语言模型**：设计了具有多解码头的自回归语言模型作为 patch
      decoder，能通过自回归方式逐步解码，每次生成一个时间步的多个 RVQ codec token，
      输出语音。

## SpeechGPT 2.0-preview的项目地址

 * **项目官网**：[https://www.open-moss.com/cn/speechgpt2-preview/](https://www.open-moss.com/cn/speechgpt2-preview/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/OpenMOSS/SpeechGPT-2.0-preview](https://github.com/OpenMOSS/SpeechGPT-2.0-preview)
 * **HuggingFace模型库**：[https://huggingface.co/fnlp/SpeechGPT-2.0-preview-7B](https://huggingface.co/fnlp/SpeechGPT-2.0-preview-7B)
 * **在线体验Demo**：[https://sp2.open-moss.com/](https://sp2.open-moss.com/)

## SpeechGPT 2.0-preview的应用场景

 * **智能助手**：可用于客服、教育或医疗等领域的智能助手，提供实时口语练习、情感陪伴
   等服务。
 * **内容创作**：自动生成有声书、诗歌朗诵或方言内容，丰富多媒体创作形式。
 * **无障碍通信**：为听障或言语障碍者提供实时语音转文字及合成服务。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

SpeechGPT 2.0-preview 适合做什么？

它适合做实时语音助手、情感陪伴、口语练习、客服接待、内容创作和无障碍通信等场景。
其优势在于低延迟、可打断、可控语音风格，并保留文本模型的推理与工具调用能力。

SpeechGPT 2.0-preview 和传统语音模型有什么区别？

它采用端到端语音建模，不依赖传统 ASR 识别后再 TTS 合成的级联流程，而是直接处理语音
输入并生成语音或文本输出，因此交互更自然、延迟更低，也更适合实时对话。

SpeechGPT 2.0-preview 能控制哪些语音效果？

可控制语速、情感、风格和音色，例如虚弱、欢快、男女音色切换，以及诗歌朗诵、方言模仿
等表达方式；文中还提到其具备较强的角色扮演与风格泛化能力。

🔬 语宙深潜追问 · 进阶实操拆解

实时语音对话怎么处理打断？

要让 ASR、对话生成和 TTS 都支持流式中断与状态恢复。用户插话时，系统应立即冻结当前
输出、保留上下文片段，并重新规划回复，避免“说完了才发现被打断”的僵硬感。

文本能力保留对语音模型有多重要？

非常重要，因为语音只是交互入口，复杂推理仍依赖文本能力。最佳做法是共享同一语义核心，
再在前后端分别处理语音编码和解码，这样既能保留推理能力，也能维持自然口语体验。

🗳️ 读者观点微投票 · 您的实战立场是？

实时语音交互最该先卷哪项体验？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [OpenAI 发布 GPT-Live-1.1 全双工实时语音大模型：前后台架构解耦、动态插话与母语级多音色实测](https://paooo.com/ai-tool/40077/)
 * [GPT-Realtime-2.1 – OpenAI推出的新一代实时语音模型](https://paooo.com/aigc-news/23931/)
 * [GPT-Live – OpenAI 推出的新一代语音模型](https://paooo.com/aigc-news/28567/)
 * [MegaTTS 3 – 字节与浙江大学合作推出的零样本语音合成系统](https://paooo.com/aigc-news/20640/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22525/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
