---
title: "SpeechGPT 2.0-preview – 复旦大学推出的端到端实时语音交互模型"
url: "https://paooo.com/aigc-news/22525/"
author: "Prompt 语宙研究院"
published_at: "2026-06-08T22:49:14+08:00"
updated_at: "2026-06-08T22:49:14+08:00"
categories: "AIGC 资讯"
tags: "AI智能体, AI音频与语音, HuggingFace, 大模型微调, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# SpeechGPT 2.0-preview – 复旦大学推出的端到端实时语音交互模型

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/22525/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-08

## AI 30 秒核心看点 (TL;DR)

- 端到端语音建模替代传统 ASR+TTS 级联，支持 200ms 以内低延迟实时交互。
- 可精准控制语速、情感、音色与风格，具备诗歌朗诵、方言模仿等拟人化表达能力。
- 兼顾语音表现力与文本能力，支持工具调用、联网搜索和知识库接入，适合多场景应用。

## SpeechGPT 2.0-preview是什么

SpeechGPT 2.0-preview 是复旦大学 OpenMOSS 团队推出的拟人化实时交互系统，基于百万小时级中文语音数据训练，采用端到端架构，实现了语音与文本模态的高度融合。模型具有拟人口语化表达、百毫秒级低延迟响应，支持自然流畅的实时打断交互。能精准控制语速、情感、风格和音色，实现智能切换。SpeechGPT 2.0-preview 具备多种语音才艺，如诗歌朗诵、故事讲述、说方言等。

## SpeechGPT 2.0-preview的主要功能

- 
**情感与风格控制**：支持多情感（如虚弱、欢快）、多音色（男女切换）及多风格（诗歌朗诵、方言模仿）的精准控制，角色扮演能力突出。

- 
**实时打断交互**：百毫秒级响应速度支持自然对话中的即时打断与续接。

- 
**文本能力集成**：在语音表现力基础上，保留文本模型的智商，支持工具调用、联网搜索、外挂知识库接入等功能。

- 
**多任务兼容性**：可处理长文档解析、多轮对话等场景，兼容短文本任务的性能未因长上下文能力而降低。

## SpeechGPT 2.0-preview的技术原理

- **端到端语音建模**

**超低比特率流式语音 Codec**：自研的超低比特率流式语音 Codec，能够处理 24khz 的语音输入，将语音压缩至每秒 75 个 token，支持流式输入输出，实现 200ms 以内延迟的实时交互。

- 
**语义-声学联合建模**：通过语义-声学联合建模，直接处理语音输入并生成语音或文本输出，无需传统级联式 ASR（语音识别）和 TTS（语音合成）模块。

- **语音-文本混合建模**

**Codec Patchify**：通过 Codec Patchify 技术聚合相邻时间步的语音 token 为统一向量，有效减小语音和文本序列之间的模态差异，缓解跨模态建模中的冲突问题。

- 
**多阶段训练流程**：包括模态适应预训练、跨模态指令微调和链式模态微调，兼顾文本能力与语音能力，避免模型在学习语音能力时降低智商。

- 
**语音文本对齐预训练**：通过充分的语音文本对齐预训练，模型可以“涌现”出语音风格的泛化性，例如无需语速调整数据即可控制语速，或模仿未见过的角色语气风格。

- **模型架构设计**

**语音文本联合建模**：speech-text LLM 会同时输入和输出语音和文本表示，LLM 的隐藏状态同时用于语音和文本的解码任务。

- 
**多解码头的自回归语言模型**：设计了具有多解码头的自回归语言模型作为 patch decoder，能通过自回归方式逐步解码，每次生成一个时间步的多个 RVQ codec token，输出语音。

## SpeechGPT 2.0-preview的项目地址

- **项目官网**：[https://www.open-moss.com/cn/speechgpt2-preview/](https://www.open-moss.com/cn/speechgpt2-preview/?utm_source=ai-bot.cn)

- **GitHub仓库**：[https://github.com/OpenMOSS/SpeechGPT-2.0-preview](https://github.com/OpenMOSS/SpeechGPT-2.0-preview)

- **HuggingFace模型库**：[https://huggingface.co/fnlp/SpeechGPT-2.0-preview-7B](https://huggingface.co/fnlp/SpeechGPT-2.0-preview-7B)

- **在线体验Demo**：[https://sp2.open-moss.com/](https://sp2.open-moss.com/)

## SpeechGPT 2.0-preview的应用场景

- 
**智能助手**：可用于客服、教育或医疗等领域的智能助手，提供实时口语练习、情感陪伴等服务。

- 
**内容创作**：自动生成有声书、诗歌朗诵或方言内容，丰富多媒体创作形式。

- 
**无障碍通信**：为听障或言语障碍者提供实时语音转文字及合成服务。

## 常见问题解答 (FAQ)

### SpeechGPT 2.0-preview 适合做什么？
它适合做实时语音助手、情感陪伴、口语练习、客服接待、内容创作和无障碍通信等场景。其优势在于低延迟、可打断、可控语音风格，并保留文本模型的推理与工具调用能力。

### SpeechGPT 2.0-preview 和传统语音模型有什么区别？
它采用端到端语音建模，不依赖传统 ASR 识别后再 TTS 合成的级联流程，而是直接处理语音输入并生成语音或文本输出，因此交互更自然、延迟更低，也更适合实时对话。

### SpeechGPT 2.0-preview 能控制哪些语音效果？
可控制语速、情感、风格和音色，例如虚弱、欢快、男女音色切换，以及诗歌朗诵、方言模仿等表达方式；文中还提到其具备较强的角色扮演与风格泛化能力。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
