# MuCodec – 清华、腾讯AI、港中文共同推出的超低比特率音乐编解码器

- Link: https://paooo.com/aigc-news/25268/
- Published: 2026-07-12T22:18:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * MuCodec 以 0.35kbps–1.35kbps 超低比特率实现音乐压缩与高保真重建，兼顾效率与音质。
 * 核心链路为 MuEncoder 特征提取、RVQ 离散化、流匹配重建，再由 Mel-VAE 与 HiFi-GAN
   生成音频。
 * 适合流媒体、音乐下载、音频编辑与资源受限设备，能显著降低存储、带宽与计算开销。

## MuCodec是什么

MuCodec是清华大学深圳国际研究生院、腾讯AI实验室和香港中文大学的研究人员共同推出的
超低比特率音乐编解码器，能实现音乐的高效压缩与高保真重建。MuCodec基于MuEncoder提取
音乐的声学和语义特征，用RVQ技术进行特征离散化，并基于流匹配方法重建Mel-VAE特征。
最终，用预训练的Mel-VAE解码器和HiFi-GAN生成重建后的音乐，能在0.35kbps至1.35kbps的
比特率下达到业界领先的压缩效率和音质。

阅读目录

 * [MuCodec是什么](https://paooo.com/aigc-news/25268/#mucodec%e6%98%af%e4%bb%80%e4%b9%88)
 * [MuCodec的主要功能](https://paooo.com/aigc-news/25268/#mucodec%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MuCodec的技术原理](https://paooo.com/aigc-news/25268/#mucodec%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [MuCodec的项目地址](https://paooo.com/aigc-news/25268/#mucodec%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MuCodec的应用场景](https://paooo.com/aigc-news/25268/#mucodec%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![MuCodec](https://paooo.com/wp-content/uploads/2026/07/MuCodec-website-1.avif)

## MuCodec的主要功能

 * **音乐压缩**：MuCodec能在极地的比特率下对音乐进行有效压缩，支持0.35kbps的超低
   比特率。
 * **音乐重建**：在超低比特率下，能重建出高保真的音乐。
 * **特征提取**：用MuEncoder提取音乐的声学和语义特征，捕捉音乐的本质特性。
 * **离散化处理**：基于RVQ（Residual Vector Quantization）技术对提取的特征进行离散
   化处理，便于压缩。
 * **流匹配重建**：用流匹配方法重建Mel-VAE特征，实现更精细的音频重建。
 * **双比特率支持**：能在低比特率（0.35kbps）和高比特率（1.35kbps）下工作，提供灵活
   的应用选择。

## MuCodec的技术原理

 * **MuEncoder**：用MuEncoder作为特征提取器，基于音乐的两个关键方面——人声和背景音乐，
   提取声学和语义特征。
 * **两阶段训练**：
    - **第一阶段**：用掩码语言模型（Mask Language Model）约束学习预测掩码区域，基于
      未掩码的语音信号，让MuEncoder能感知上下文信息，增强表征能力。
    - **第二阶段**：引入重建和歌词识别约束，包括Mel频谱图和CQT（Constant-Q Transform）
      特征的重建，及确保提取的特征包含语义信息的歌词识别。
 * **RVQ（Residual Vector Quantization）**：选择RVQ来离散化MuEncoder特征，基于残
   差过程压缩表示，并用级联码本提供更精细的近似。
 * **流匹配**：用基于流匹配的方法进行重建，这种方法相比GAN（Generative Adversarial
   Networks）方法训练更稳定，且需要更少的训练步骤就能在超低比特率重建任务中取得更好
   的结果。流匹配用离散化的MuEncoder表示作为条件，基于Diffusion Transformer进行细
   粒度重建。
 * **Mel-VAE解码器和HiFi-GAN**：重建的Mel频谱图通过预训练的Mel-VAE解码器恢复，最终
   用预训练的HiFi-GAN生成重建后的音乐。

## MuCodec的项目地址

 * **项目官网**：[xuyaoxun.github.io/MuCodec_demo](https://xuyaoxun.github.io/MuCodec_demo/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/xuyaoxun/MuCodec](https://github.com/xuyaoxun/MuCodec)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2409.13216](https://arxiv.org/pdf/2409.13216)

## MuCodec的应用场景

 * **在线音乐流媒体服务**：在保持音质的同时显著减少音乐文件的大小，在线音乐流媒体
   服务提供商能减少存储和带宽成本。
 * **音乐下载**：用户下载更小体积的音乐文件，节省存储空间，同时在移动设备上减少数据
   消耗。
 * **语言模型建设**：在构建需要短序列音乐数据的语言模型时，有效压缩音乐数据，提高
   处理效率。
 * **音频编辑和处理软件**：音频编辑软件集成MuCodec作为音频压缩和重建的工具，提供
   更高效的音频处理功能。
 * **移动设备和嵌入式系统**：在存储和计算资源受限的移动设备或嵌入式系统中，在保持
   音质的同时减少资源消耗。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**腾讯AI实验室 ↗**

腾讯AI实验室：共同打造产学研用一体的AI生态，面向AI 综合应用场景提供便捷实用的在线
功能支持。

❓ 常见问题解答（FAQ）

MuCodec 适合哪些音乐压缩场景？

MuCodec 适合在线音乐流媒体、音乐下载、音频编辑软件，以及移动设备和嵌入式系统等场景。
它能在尽量保持音质的前提下显著降低文件体积，减少存储、带宽和计算资源消耗。

MuCodec 的核心技术原理是什么？

MuCodec 先用 MuEncoder 提取音乐的声学与语义特征，再通过 RVQ 进行离散化，随后用流
匹配重建 Mel-VAE 特征，最后借助预训练的 Mel-VAE 解码器和 HiFi-GAN 生成重建音乐。

MuCodec 的比特率和效果如何？

文章给出的比特率范围是 0.35kbps 到 1.35kbps，属于超低比特率音乐编解码方案。其目标
是在极低码率下实现高效压缩与高保真重建，并在该任务上取得业界领先的压缩效率和音质
表现。

🔬 语宙深潜追问 · 进阶实操拆解

0.35kbps 还能听吗？

能否可听取决于音乐类型和评估标准。极低码率下，旋律轮廓通常能保留，但高频细节、空间
感和瞬态会受损；若用于预览、流媒体节省带宽或生成式音频中间表示，仍有实际价值。

RVQ 在音乐压缩里解决什么问题？

RVQ 通过多级残差量化逐步逼近原始特征，在极低码率下尽量保留关键信息。它能把复杂音
频表示拆成可控的离散码本序列，便于压缩、重建和后续生成模型接入。

🗳️ 读者观点微投票 · 您的实战立场是？

超低比特率音乐编解码，优先保真还是压缩？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [美团开源LongCat-Audio-Codec：突破性语音编解码方案，超低比特率高保真，赋能实时AI语音交互](https://paooo.com/aigc-news/13428/)
 * [AudioX-Turbo – Noiz AI 联合清华推出的音频生成框架](https://paooo.com/aigc-news/24245/)
 * [Meta开源SAM Audio：音频分割革命性突破，多模态提示精准分离任意声音](https://paooo.com/aigc-news/12602/)
 * [InspireMusic – 阿里通义实验室开源的音乐生成技术](https://paooo.com/aigc-news/22092/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25268/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)