美团开源LongCat-Audio-Codec：突破性语音编解码方案，超低比特率高保真，赋能实时AI语音交互

💡 站外导读：随着语音大模型的快速发展，如何高效、高质量地将语音信号数字化，并在语义理解与声学保真间取得完美平衡，成为制约实时交互体验的核心瓶颈。传统编解码方案往往顾此失彼，导致信息丢失或延迟过高。美团LongCat团队开源的LongCat-Audio-Codec，正是瞄准这一行业痛点，通过创新的双Token并行机制与流式解码架构，旨在为智能音箱、车载语音、实时翻译等高频场景提供底层技术支撑。

LongCat-Audio-Codec是什么

LongCat-Audio-Codec 是美团 LongCat 团队开源的语音编解码方案，专为语音大语言模型（Speech LLM）设计。通过语义和声学双 Token 并行提取机制，兼顾语音的语义理解与声学特征保留，解决了传统方案中语义与声学信息难以平衡的问题。低延迟流式解码器支持实时交互，将解码延迟控制在百毫秒级，满足车载语音助手、实时翻译等场景的需求。具备超低比特率高保真与集成超分辨率设计，在极低比特率下实现高保真音频重建，同时提升输出音频的采样率和自然度。LongCat-Audio-Codec 提供了一站式的 Token 生成器与还原器工具链，支持灵活的码本配置，可根据下游任务调整码本数量，适应不同场景。其多阶段训练策略进一步优化了高压缩率和高音质的平衡。

LongCat-Audio-Codec的主要功能

• 语义与声学并行 Token 化：将原始音频信号映射为语义与声学并行的 token 序列，兼顾语音的语义信息和声学特征。
• 低延迟流式解码：采用帧级增量处理模式，实现低延迟音频解码，满足实时交互需求。
• 超低比特率高保真：在极低比特率下实现高保真音频重建，同时集成超分辨率设计，提升音频自然度。

LongCat-Audio-Codec的技术原理

• 语义-声学双Token并行提取：通过双向Transformer架构提取语义Token，聚焦语音的核心信息；同时结合改进的量化技术提取声学Token，补充韵律、音色等副语言特征，解决语义与声学信息平衡问题。
• 低延迟流式解码：采用帧级增量处理模式，控制对未来语音Token的依赖，将解码延迟控制在百毫秒级，满足实时交互场景的需求。
• 超低比特率高保真与集成超分辨率：通过模型优化与训练机制，在低比特率下实现高保真音频重建；同时将超分辨率思想嵌入解码器，提升输出音频的采样率和自然度。
• 灵活的声学码本配置：支持根据下游任务调整声学码本数量，适应不同场景的需求，如少音色或多音色场景。
• 多阶段训练策略：设计了多阶段训练策略，分别满足高压缩率下的重构需求、高音质合成需求以及个性化定制需求。

LongCat-Audio-Codec的项目地址

• Github仓库：https://github.com/meituan-longcat/LongCat-Audio-Codec
• Hugging Face模型库：https://huggingface.co/meituan-longcat/LongCat-Audio-Codec

LongCat-Audio-Codec的应用场景

• 智能音箱：提升语音交互的实时性和自然度，使音箱能更快速、更准确地理解和回应用户的语音指令。
• 车载语音助手：满足车载场景下的实时交互需求，提供低延迟的语音反馈，增强驾驶体验。
• 实时翻译：在低延迟的流式解码支持下，实现高质量的实时语音翻译，减少翻译过程中的延迟。
• 语音识别与合成：为语音识别和合成系统提供高效的音频处理支持，提高语音识别的准确性和语音合成的自然度。
• 长音频建模：支持长音频的高效编码和解码，适用于需要处理长音频内容的场景，如有声读物、播客等。
• 多语言语音处理：支持多语言的语音处理，为跨语言的语音应用提供技术支持。