---
title: "腾讯开源Covo-Audio：70亿参数端到端语音大模型，挑战GPT-4o的实时对话新标杆"
url: "https://paooo.com/aigc-news/11257/"
author: "Prompt 语宙研究院"
published_at: "2026-06-09T23:12:22+08:00"
updated_at: "2026-06-07T20:04:35+08:00"
categories: "AI 工具, AIGC 资讯"
tags: "Covo-Audio, 全双工交互, 端到端语音模型, 腾讯开源, 语音大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# 腾讯开源Covo-Audio：70亿参数端到端语音大模型，挑战GPT-4o的实时对话新标杆

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/11257/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-09

## AI 30 秒核心看点 (TL;DR)

- 70亿参数端到端语音大模型，直接处理音频输入输出，避免ASR-LLM-TTS级联带来的延迟与误差累积。
- 核心亮点包括三模态交错架构、智能与说话人解耦、原生全双工交互，面向实时对话更接近自然人类沟通。
- 开源版为Covo-Audio-Chat，基于Qwen2.5-7B与Whisper，支持研究实验与本地/云端推理部署。

> 
                **💡 站外导读：**传统语音AI依赖ASR-LLM-TTS的级联架构，存在延迟高、误差累积的行业痛点，严重制约了实时交互体验。随着GPT-4o等端到端模型的出现，行业迎来范式变革，但闭源特性限制了应用与创新。在此背景下，腾讯开源Covo-Audio——一款70亿参数的端到端语音大模型，以统一架构直接处理音频输入输出，旨在为开发者与研究者提供一个高性能、可定制的开源基座方案，推动语音AI技术的普及与突破。

            

             
                        

## Covo-Audio是什么

Covo-Audio 是腾讯开源的70亿参数端到端语音大模型，可直接处理连续音频输入并生成音频输出。模型核心创新包括分层三模态语音-文本交错架构、智能与说话人解耦技术，以及原生全双工交互能力。模型基于[Qwen2.5-7B](https://ai-bot.cn/qwen2-5/)和Whisper构建，在口语对话、语音理解、音频理解等任务达到SOTA性能。作为统一架构的语音AI，模型避免了传统级联系统的延迟与误差累积，是[GPT-4o](https://ai-bot.cn/openai-gpt-4o/)语音能力的强有力开源替代方案。

## Covo-Audio的主要功能

- 
**口语对话**：支持端到端语音输入与语音输出的自然多轮对话交互。

- 
**语音理解**：模型深度融合声学特征与语义内容，实现高保真语音信号的全面解析。

- 
**音频理解**：模型支持扩展至非语音场景，具备对环境音、音乐等广义音频的综合感知能力。

- 
**全双工交互**：原生支持低延迟实时双向语音通信，允许自然打断与即时响应。

## Covo-Audio的关键信息和使用要求

- 
**开发者**：腾讯（Tencent）

- 
**模型规模**：70亿参数（7B）

- 
**架构类型**：端到端统一音频语言模型

- 
**开源版本**：Covo-Audio-Chat

- 
**基础模型**：Qwen2.5-7B（LLM主干）+ Whisper（音频编码器）

- 
**模型格式**：Safetensors，BF16精度

- 
**论文**：arXiv:2602.09823

- 
**开源协议**：专用License（需查看仓库）

- 
**适用场景**：研究及实验用途

- 
**Python版本**：≥ 3.11（推荐）

- 
**依赖安装**：通过 `requirements.txt` 一键安装

- 
**核心依赖**：Transformers、BigVGAN、huggingface-hub

- 
**硬件资源**：需支持BF16推理的GPU（建议显存充足），本地部署或云端推理均可

## Covo-Audio的核心优势

- 
**端到端统一架构**：模型打破传统ASR→LLM→TTS级联模式，实现音频到音频的直接映射，消除误差累积并显著降低推理延迟。

- 
**三模态深度融合**：通过连续声学特征、离散语音token与自然语言文本的分层交错，建立高保真韵律与鲁棒语义的有效对齐。

- 
**智能与音色解耦**：模型借助多说话人训练分离对话智能与说话人特征，支持高质量语音的灵活迁移与个性化定制。

- 
**原生全双工能力**：模型用低延迟流式处理实现实时双向交互，支持自然打断与即时响应，逼近人类对话体验。

- 
**开源生态价值**：模型用70亿参数规模平衡性能与成本，完整技术栈开放降低应用门槛，为中文语音AI提供自主可控的基座方案。

## 如何使用Covo-Audio

- **环境准备**：创建Python 3.11环境并安装依赖，执行 conda create -n covoaudio python=3.11 和 conda activate covoaudio，通过 pip install -r requirements.txt 完成依赖安装。

- **获取代码**：克隆官方GitHub仓库至本地，运行 git clone https://github.com/Tencent/Covo-Audio.git 并进入项目目录 cd Covo-Audio。

- **下载模型**：安装HuggingFace工具并下载预训练权重，执行 pip install huggingface-hub 和 hf download tencent/Covo-Audio-Chat –local-dir ./covoaudio，模型将自动覆盖或存入指定目录。

- **配置路径**：如需自定义模型存储位置，修改 example.sh 中的 model_dir 和 decode_load_path 参数匹配实际路径。

- **运行推理**：执行一键推理脚本 bash example.sh，或修改 example.py 中的音频文件路径实现自定义输入交互。

- **自定义使用**：替换 example.py 中的输入音频路径为自有文件，即可与模型进行端到端语音对话交互。

## Covo-Audio的项目地址

- **GitHub仓库**：https://github.com/Tencent/Covo-Audio

- **HuggingFace模型库**：https://huggingface.co/tencent/Covo-Audio-Chat

- **arXiv技术论文**：https://arxiv.org/pdf/2602.09823

## Covo-Audio的同类竞品对比

维度
Covo-Audio
GPT-4o (Voice)
Mini-Omni

**开发方**
腾讯
OpenAI
开源社区

**模型规模**
7B参数
未公开（估计数百B）
2B参数

**架构**
端到端统一
端到端原生
端到端统一

**开源状态**
**完全开源**
闭源API
开源

**全双工支持**
原生低延迟
原生支持
有限支持

**中文优化**
**深度优化**
通用多语言
基础支持

**部署成本**
中等（单卡可行）
高（API调用）
低（轻量级）

## Covo-Audio的应用场景

- 
**智能客服**：模型支持端到端低延迟交互与全双工打断能力，实现自然流畅的实时语音问答与多音色个性化服务。

- 
**智能硬件**：模型能为智能音箱、车载系统、家居中控提供离线或端云结合的语音助手能力。

- 
**内容创作**：支持高效生成多角色对话配音、播客内容及实时语音翻译服务。

- 
**教育培训**：深度理解语音情感与韵律细节，构建口语陪练、虚拟讲师等沉浸式个性化教学交互系统。

- 
**无障碍服务**：以自然语音交互替代视觉界面，为视障群体、老年人提供免打字、免触屏的便捷信息获取与设备操控方式。

                    
            
                

#### 📝 站长洞察 (Editor's Insight)

                Covo-Audio的开源标志着语音AI从“拼接组件”迈向“原生感知”的关键一跃。其三模态分层架构与音色解耦技术，直指行业核心矛盾：如何在统一模型中平衡语义理解的精度与声学生成的自然度。这不仅是技术迭代，更是对交互范式的重新定义——全双工能力使AI从“一问一答”的工具，进化为可自然打断的对话伙伴。从产业视角看，70B级参数规模在性能与部署成本间取得了务实平衡，为智能硬件、客服等落地场景提供了关键选择。腾讯此次开源，不仅贡献了GPT-4o的强大开源替代品，更将中文语音AI的自主可控基座向前推进了一步，其生态影响或将在未来一年内集中显现。

## 常见问题解答 (FAQ)

### Covo-Audio适合做什么场景？
它适合需要低延迟语音交互的场景，如智能客服、语音助手、实时对话系统，以及语音理解、音频理解等研究任务。文章强调其端到端音频到音频能力，尤其适合替代传统级联语音方案。

### Covo-Audio和GPT-4o语音能力有什么区别？
两者都强调端到端实时语音交互，但Covo-Audio是腾讯开源方案，便于开发者研究、定制和本地部署；GPT-4o语音能力则是闭源API。文章指出Covo-Audio在中文语音AI和开源生态上更具可控性。

### 部署Covo-Audio需要什么环境？
文章给出的要求是Python 3.11及以上，按requirements.txt安装依赖，并需要支持BF16推理的GPU。核心依赖包括Transformers、BigVGAN和huggingface-hub，适合本地部署或云端推理。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
