# 腾讯开源Covo-Audio：70亿参数端到端语音大模型，挑战GPT-4o的实时对话新标杆

- Link: https://paooo.com/aigc-news/11257/
- Published: 2026-06-09T23:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 70亿参数端到端语音[大模型](https://paooo.com/ai-study/)，直接处理音频输入输出，
   避免ASR-LLM-TTS级联带来的延迟与误差累积。
 * 核心亮点包括三模态交错架构、智能与说话人解耦、原生全双工交互，面向实时对话更接近
   自然人类沟通。
 * 开源版为Covo-Audio-Chat，基于Qwen2.5-7B与Whisper，支持研究实验与本地/云端推理
   部署。

> **💡 站外导读：**传统语音AI依赖ASR-LLM-TTS的级联架构，存在延迟高、误差累积的行业
> 痛点，严重制约了实时交互体验。随着GPT-4o等端到端模型的出现，行业迎来范式变革，
> 但闭源特性限制了应用与创新。在此背景下，腾讯开源Covo-Audio——一款70亿参数的端到
> 端语音大模型，以统一架构直接处理音频输入输出，旨在为开发者与研究者提供一个高性能、
> 可定制的开源基座方案，推动语音AI技术的普及与突破。

## Covo-Audio是什么

Covo-Audio 是腾讯开源的70亿参数端到端语音大模型，可直接处理连续音频输入并生成音频
输出。模型核心创新包括分层三模态语音-文本交错架构、智能与说话人解耦技术，以及原生
全双工交互能力。模型基于[Qwen2.5-7B](https://ai-bot.cn/qwen2-5/)和Whisper构建，在
口语对话、语音理解、音频理解等任务达到SOTA性能。作为统一架构的语音AI，模型避免了
传统级联系统的延迟与误差累积，是[GPT-4o](https://ai-bot.cn/openai-gpt-4o/)语音能力
的强有力开源替代方案。

阅读目录

 * [Covo-Audio是什么](https://paooo.com/aigc-news/11257/#covoaudio%e6%98%af%e4%bb%80%e4%b9%88)
 * [Covo-Audio的主要功能](https://paooo.com/aigc-news/11257/#covoaudio%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Covo-Audio的关键信息和使用要求](https://paooo.com/aigc-news/11257/#covoaudio%e7%9a%84%e5%85%b3%e9%94%ae%e4%bf%a1%e6%81%af%e5%92%8c%e4%bd%bf%e7%94%a8%e8%a6%81%e6%b1%82)
 * [Covo-Audio的核心优势](https://paooo.com/aigc-news/11257/#covoaudio%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [如何使用Covo-Audio](https://paooo.com/aigc-news/11257/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8covoaudio)
 * [Covo-Audio的项目地址](https://paooo.com/aigc-news/11257/#covoaudio%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Covo-Audio的同类竞品对比](https://paooo.com/aigc-news/11257/#covoaudio%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [Covo-Audio的应用场景](https://paooo.com/aigc-news/11257/#covoaudio%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/11257/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![Covo-Audio](https://paooo.com/wp-content/uploads/2026/05/Covo-Audio-website-1.
avif)

## Covo-Audio的主要功能

 * **口语对话**：支持端到端语音输入与语音输出的自然多轮对话交互。
 * **语音理解**：模型深度融合声学特征与语义内容，实现高保真语音信号的全面解析。
 * **音频理解**：模型支持扩展至非语音场景，具备对环境音、音乐等广义音频的综合感知
   能力。
 * **全双工交互**：原生支持低延迟实时双向语音通信，允许自然打断与即时响应。

## Covo-Audio的关键信息和使用要求

 * **开发者**：腾讯（Tencent）
 * **模型规模**：70亿参数（7B）
 * **架构类型**：端到端统一音频语言模型
 * **开源版本**：Covo-Audio-Chat
 * **基础模型**：Qwen2.5-7B（LLM主干）+ Whisper（音频编码器）
 * **模型格式**：Safetensors，BF16精度
 * **论文**：arXiv:2602.09823
 * **开源协议**：专用License（需查看仓库）
 * **适用场景**：研究及实验用途
 * **Python版本**：≥ 3.11（推荐）
 * **依赖安装**：通过 `requirements.txt` 一键安装
 * **核心依赖**：Transformers、BigVGAN、huggingface-hub
 * **硬件资源**：需支持BF16推理的GPU（建议显存充足），本地部署或云端推理均可

## Covo-Audio的核心优势

 * **端到端统一架构**：模型打破传统ASR→LLM→TTS级联模式，实现音频到音频的直接映射，
   消除误差累积并显著降低推理延迟。
 * **三模态深度融合**：通过连续声学特征、离散语音token与自然语言文本的分层交错，
   建立高保真韵律与鲁棒语义的有效对齐。
 * **智能与音色解耦**：模型借助多说话人训练分离对话智能与说话人特征，支持高质量语音
   的灵活迁移与个性化定制。
 * **原生全双工能力**：模型用低延迟流式处理实现实时双向交互，支持自然打断与即时响应，
   逼近人类对话体验。
 * **开源生态价值**：模型用70亿参数规模平衡性能与成本，完整技术栈开放降低应用门槛，
   为中文语音AI提供自主可控的基座方案。

## 如何使用Covo-Audio

 * **环境准备**：创建Python 3.11环境并安装依赖，执行 conda create -n covoaudio python
   =3.11 和 conda activate covoaudio，通过 pip install -r requirements.txt 完成依赖
   安装。
 * **获取代码**：克隆官方GitHub仓库至本地，运行 git clone https://github.com/Tencent/
   Covo-Audio.git 并进入项目目录 cd Covo-Audio。
 * **下载模型**：安装HuggingFace工具并下载预训练权重，执行 pip install huggingface-
   hub 和 hf download tencent/Covo-Audio-Chat –local-dir ./covoaudio，模型将自动
   覆盖或存入指定目录。
 * **配置路径**：如需自定义模型存储位置，修改 example.sh 中的 model_dir 和 decode_load_path
   参数匹配实际路径。
 * **运行推理**：执行一键推理脚本 bash example.sh，或修改 example.py 中的音频文件
   路径实现自定义输入交互。
 * **自定义使用**：替换 example.py 中的输入音频路径为自有文件，即可与模型进行端到
   端语音对话交互。

## Covo-Audio的项目地址

 * **GitHub仓库**：https://github.com/Tencent/Covo-Audio
 * **HuggingFace模型库**：https://huggingface.co/tencent/Covo-Audio-Chat
 * **arXiv技术论文**：https://arxiv.org/pdf/2602.09823

## Covo-Audio的同类竞品对比

  |  维度 |  Covo-Audio |  GPT-4o (Voice) |  Mini-Omni |  
   |  **开发方** |  腾讯 |  [OpenAI](https://paooo.com/tag/openai/) |  开源社区 |  
 |  **模型规模** |  7B参数 |  未公开（估计数百B） |  2B参数 |  
 |  **架构** |  端到端统一 |  端到端原生 |  端到端统一 |  
 |  **开源状态** |  **完全开源** |  闭源API |  开源 |  
 |  **全双工支持** |  原生低延迟 |  原生支持 |  有限支持 |  
 |  **中文优化** |  **深度优化** |  通用多语言 |  基础支持 |  
 |  **部署成本** |  中等（单卡可行） |  高（API调用） |  低（轻量级） |

## Covo-Audio的应用场景

 * **智能客服**：模型支持端到端低延迟交互与全双工打断能力，实现自然流畅的实时语音
   问答与多音色个性化服务。
 * **智能硬件**：模型能为智能音箱、车载系统、家居中控提供离线或端云结合的语音助手
   能力。
 * **内容创作**：支持高效生成多角色对话配音、播客内容及实时语音翻译服务。
 * **教育培训**：深度理解语音情感与韵律细节，构建口语陪练、虚拟讲师等沉浸式个性化
   教学交互系统。
 * **无障碍服务**：以自然语音交互替代视觉界面，为视障群体、老年人提供免打字、免触
   屏的便捷信息获取与设备操控方式。

#### 📝 站长洞察 (Editor’s Insight)

Covo-Audio的开源标志着语音AI从“拼接组件”迈向“原生感知”的关键一跃。其三模态分层架构
与音色解耦技术，直指行业核心矛盾：如何在统一模型中平衡语义理解的精度与声学生成的
自然度。这不仅是技术迭代，更是对交互范式的重新定义——全双工能力使AI从“一问一答”的
工具，进化为可自然打断的对话伙伴。从产业视角看，70B级参数规模在性能与部署成本间取得
了务实平衡，为智能硬件、客服等落地场景提供了关键选择。腾讯此次开源，不仅贡献了GPT-
4o的强大开源替代品，更将中文语音AI的自主可控基座向前推进了一步，其生态影响或将在
未来一年内集中显现。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

Covo-Audio适合做什么场景？

它适合需要低延迟语音交互的场景，如智能客服、语音助手、实时对话系统，以及语音理解、
音频理解等研究任务。文章强调其端到端音频到音频能力，尤其适合替代传统级联语音方案。

Covo-Audio和GPT-4o语音能力有什么区别？

两者都强调端到端实时语音交互，但Covo-Audio是腾讯开源方案，便于开发者研究、定制和
本地部署；GPT-4o语音能力则是闭源API。文章指出Covo-Audio在中文语音AI和开源生态上更
具可控性。

部署Covo-Audio需要什么环境？

文章给出的要求是Python 3.11及以上，按requirements.txt安装依赖，并需要支持BF16推理
的GPU。核心依赖包括Transformers、BigVGAN和huggingface-hub，适合本地部署或云端推理。

🔬 语宙深潜追问 · 进阶实操拆解

全双工语音交互最难解决什么问题？

最难的是打断、回声和说话轮次控制。系统要同时做VAD、流式解码和响应中止机制，避免用户
插话时模型还在输出；否则体验会像“会说话但不会聊天”。

基于Qwen2.5与Whisper搭建时怎么优化中文体验？

优先优化前端音频切分、热词和标点恢复，再调语音到文本的流式窗口。中文场景里，断句
和专有名词比纯识别率更影响可用性，最好配合领域词表和后处理纠错。

🗳️ 读者观点微投票 · 您的实战立场是？

端到端语音对话，低延迟比高准确更关键吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

 * [Qwen2-Audio – 阿里通义千问团队推出的开源AI语音模型](https://paooo.com/aigc-news/27597/)
 * [阿里开源Fun-Audio-Chat：端到端语音交互模型，情绪感知+50%GPU节省，性能碾压GLM4-Voice](https://paooo.com/ai-tool/12547/)
 * [开源全双工实时语音新王者！AI降临派开源Sophon-Realtime v1：32B统一大脑单token判话轮、VoiceBench斩获82.8分力压群雄技术全景拆解](https://paooo.com/ai-tool/41698/)
 * [OpenBMB重磅开源VoxCPM2：2B参数TTS模型首创声音设计，支持30种语言与实时克隆](https://paooo.com/aigc-news/10902/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/11257/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
