# 智源研究院开源FLM-Audio：全双工音频对话模型，边听边说、低延迟、支持中英双语

- Link: https://paooo.com/aigc-news/13526/
- Published: 2026-06-20T15:12:22+08:00
- Author: 站外新闻

> **💡 站外导读：**当前语音交互领域长期存在延迟高、交互不自然、抗干扰能力弱等痛点，
> 尤其是在实时对话场景中，用户难以实现随时打断和自然交流。随着AIGC技术快速发展，
> 市场对更拟人、高效、低延迟的语音助手需求激增。智源研究院联合Spin Matrix与南洋理工
> 大学开源FLM-Audio，旨在通过原生全双工架构与自然独白训练范式，突破传统时分复用的
> 技术瓶颈，为下一代人机语音交互提供新基础。

## FLM-Audio是什么

FLM-Audio 是北京智源人工智能研究院联合 Spin Matrix 与新加坡南洋理工大学共同发布的
原生全双工音频对话[大模型](https://paooo.com/ai-study/)，支持中文和英文。采用原生
全双工架构，可在每个时间步合并听觉、说话和独白通道，避免传统时分复用方案的高延迟
问题。其独特的自然独白与双重训练范式，使模型在对话中更接近人类的自然交流方式，有效
解决了异步对齐问题。FLM-Audio 仅用 100 万小时数据训练，数据量大幅减少，但回复质量
高且响应敏捷自然，对噪声和用户打断也有较强鲁棒性。

阅读目录

 * [FLM-Audio是什么](https://paooo.com/aigc-news/13526/#flmaudio%e6%98%af%e4%bb%80%e4%b9%88)
 * [FLM-Audio的主要功能](https://paooo.com/aigc-news/13526/#flmaudio%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [FLM-Audio的技术原理](https://paooo.com/aigc-news/13526/#flmaudio%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [FLM-Audio的项目地址](https://paooo.com/aigc-news/13526/#flmaudio%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [FLM-Audio的应用场景](https://paooo.com/aigc-news/13526/#flmaudio%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/13526/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![FLM-Audio](https://paooo.com/wp-content/uploads/2026/05/FLM-Audio-website-1.avif)

## FLM-Audio的主要功能

 * **全双工语音交互**：实现“边听边说”，用户可随时打断模型，模型能即时暂停输出并理解
   新问题后回应，交互自然流畅，延迟低。
 * **支持多语言**：模型支持中文和英文两种语言，能够满足不同语言用户的对话需求。
 * **自然语音建模**：采用“自然独白”方式模拟人类说话节奏，通过“双重训练”强化语言与
   声学语义对齐，兼顾低延迟与语言建模性能。
 * **低数据高效训练**：仅用约100万小时音频数据训练出70亿参数模型，在嘈杂环境、频繁
   打断场景下仍保持高鲁棒性和自然度。
 * **强鲁棒性**：对噪声和用户打断具有较强的鲁棒性，能迅速停顿当前输出、准确理解新
   问题并即时作答，保证对话的流畅性和准确性。
 * **完全开源支持**：论文、模型权重与代码均公开，支持本地部署与二次开发，方便研究
   与应用拓展。

## FLM-Audio的技术原理

 * **原生全双工架构**：模型设计支持同时进行语音输入和输出，能实时处理语音流，实现
   边听边说的交互模式。
 * **自然独白训练**：采用连续句段与停顿组成的“自然独白”代替逐词对齐，更接近人类真实
   说话方式，提升语音交互的自然度。
 * **双重训练策略**：通过将独白交替放在音频首尾进行训练，强化语言与声学语义的对齐，
   提高模型对语音内容的理解和生成能力。
 * **小数据高效训练**：利用少量音频数据（约100万小时）训练出高参数量模型，通过优
   化训练方法和架构，实现低延迟和高鲁棒性。

## FLM-Audio的项目地址

 * **GitHub仓库**：https://github.com/cofe-ai/flm-audio
 * **HuggingFace模型库**：https://huggingface.co/CofeAI/FLM-Audio
 * **arXiv技术论文**：https://arxiv.org/pdf/2509.02521

## FLM-Audio的应用场景

 * **在线教育**：AI 助教可实时回答学生问题，提供更自然、高效的互动体验。
 * **游戏与虚拟现实（VR）**：NPC 可实现不间断、可打断的自然语音互动，增强游戏的沉浸
   感。
 * **智能客服**：低延迟对话减少用户等待，提升客服效率和用户体验。
 * **智能陪伴**：为用户提供更接近真人的语音互动，增强陪伴感。
 * **语音助手**：在智能家居、智能办公等场景中，提供更自然的语音交互体验。
 * **会议辅助**：在多人会议中，实时翻译、记录和互动，提高会议效率。

#### 📝 站长洞察 (Editor’s Insight)

FLM-Audio的发布标志着全双工语音交互从概念走向可落地开源阶段。其核心创新在于用“自然
独白”模拟人类说话节奏，并通过双重训练对齐语言与声学语义，这比逐词对齐的传统方案更
接近真实对话。仅用100万小时数据训练70亿参数模型，展现了小数据高效训练的范式潜力，
这对降低行业数据门槛有重要意义。结合开源策略，它将加速智能客服、游戏NPC、在线教育
等场景的体验升级。从大趋势看，语音大模型正从“能对话”向“自然对话”演进，FLM-Audio在
低延迟、抗打断上的表现，预示着未来两年内，拟人化语音交互或成AI应用标配，而中国团队
的这一开源成果，也为全球[AIGC](https://paooo.com/aigc-news/)生态贡献了关键基础设施。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)