# MinMo – 阿里通义实验室推出的多模态语音交互大模型

- Link: https://paooo.com/aigc-news/22905/
- Published: 2026-06-09T02:46:37+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 约80亿参数，基于140万小时语音数据训练，兼顾语音理解、生成与实时交互能力。
 * 支持情感、方言、说话风格和音色模仿，生成效率超过90%，个性化语音更强。
 * 全双工交互是核心亮点：语音到文本约100毫秒，实际全双工延迟约800毫秒。

## MinMo是什么

MinMo是阿里巴巴通义实验室FunAudioLLM团队推出的多模态[大模型](https://paooo.com/ai-study/)，
专注于实现无缝语音交互。MinMo拥有约80亿参数，基于多阶段训练，在140万小时多样化语音
数据和广泛语音任务上进行学习。MinMo支持根据用户指令控制生成音频的情感、方言和说话
风格，及模仿特定音色，生成效率超过90%。MinMo支持全双工语音交互，语音到文本延迟约
为100毫秒，全双工延迟理论上约为600毫秒，实际约为800毫秒，可实现用户与系统之间的同时
双向通信，使多轮对话更加流畅。

阅读目录

 * [MinMo是什么](https://paooo.com/aigc-news/22905/#minmo%e6%98%af%e4%bb%80%e4%b9%88)
 * [MinMo的主要功能](https://paooo.com/aigc-news/22905/#minmo%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MinMo的技术原理](https://paooo.com/aigc-news/22905/#minmo%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [MinMo的项目地址](https://paooo.com/aigc-news/22905/#minmo%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MinMo的应用场景](https://paooo.com/aigc-news/22905/#minmo%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![MinMo](https://paooo.com/wp-content/uploads/2026/06/MinMo-website-1.avif)

## MinMo的主要功能

 * **实时语音对话**：能实时、自然、流畅地与用户进行语音对话，理解用户的语音指令并
   生成相应的语音回应。
 * **多语言支持**：支持多语言语音识别和翻译，在多种语言环境下与用户顺畅沟通。
 * **情感表达**：根据用户指令生成带有特定情感（如快乐、悲伤、惊讶等）的语音。
 * **方言和说话风格**：支持生成特定方言（如四川话、粤语等）和特定说话风格（如快速、
   慢速等）的语音。
 * **音色模仿**：模仿特定音色，让语音交互更具个性化和表现力。
 * **全双工交互**：支持用户和系统同时说话和聆听，实现更自然、高效的多轮对话，语音
   到文本延迟约为100毫秒，全双工延迟理论上约为600毫秒，实际约为800毫秒。

## MinMo的技术原理

 * **多模态融合架构**：
    - **语音编码器**：基于预训练的SenseVoice-large编码器模块，提供强大的语音理解
      能力，支持多语言语音识别、情感识别和音频事件检测。
    - **输入投影器**：由两层Transformer和一层CNN组成，用在维度对齐和降采样。
    - **大型语言模型**：用预训练的Qwen2.5-7B-instruct模型，因其在多个基准测试中表现
      出色。
    - **输出投影器**：单层线性模块，用在维度对齐。
    - **语音标记语言模型**：用预训练的CosyVoice 2 LM模块，自回归生成语音标记。
    - **Token2wav合成器**：将语音标记转换为mel频谱图，再转换为波形，支持实时音频
      合成。
    - **全双工预测器**：单层Transformer和线性softmax输出层，用在实时预测是否继续
      系统响应或暂停处理用户输入。
 * **多阶段训练策略**：
    - **语音到文本对齐**：基于大量语音数据和对应的文本标注，训练模型学习语音和文本
      之间的映射关系，让模型准确地将语音转换为文本，为后续的文本理解和生成打下基础。
    - **文本到语音对齐**：让模型学习如何将文本转换为语音，生成自然流畅的语音表达，
      保持文本的语义信息和情感色彩。
    - **语音到语音对齐**：进一步提升模型对语音的理解和生成能力，让模型直接在语音
      层面进行交互，更好地处理语音的韵律、语调等特征。
    - **双工交互对齐**：模拟真实的全双工交互场景，训练模型在同时接收和发送语音信号
      的情况下，准确地进行语音识别和生成，优化模型在复杂交互环境下的性能。

## MinMo的项目地址

 * **项目官网**：[https://funaudiollm.github.io/minmo/](https://funaudiollm.github.io/minmo/?utm_source=ai-bot.cn)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2501.06282](https://arxiv.org/pdf/2501.06282)

## MinMo的应用场景

 * **智能客服**：提供24*7多语言语音支持，实时互动解答客户问题，基于情感识别提供个性
   化服务，支持全双工对话提高效率。
 * **智能助手**：控制智能家居设备，管理日程，查询信息，推荐个性化内容，提升生活便利
   性和信息获取效率。
 * **教育领域**：辅助语言学习，互动教学提高参与度，根据学习进度提供个性化计划，情感
   支持鼓励学生学习。
 * **医疗健康**：远程医疗咨询，健康监测提醒，康复训练指导，情感支持疏导，提升医疗
   服务的可及性和患者体验。
 * **智能驾驶**：语音控制车辆系统，提供实时交通信息，紧急情况指导，全双工对话提高
   驾驶安全性和便利性。

❓ 常见问题解答（FAQ）

MinMo是什么类型的大模型？

MinMo是阿里巴巴通义实验室FunAudioLLM团队推出的多模态语音交互大模型，重点面向无缝
语音对话。它结合语音理解、语音生成和全双工交互能力，适合实时语音助手、客服等应用。

MinMo支持哪些语音控制能力？

MinMo支持根据指令控制生成语音的情感、方言、说话风格，并可模仿特定音色。文中提到它
还能支持多语言语音识别与翻译，适合更自然、个性化的语音交互。

MinMo的全双工延迟表现如何？

文章给出的数据是：语音到文本延迟约100毫秒，全双工延迟理论上约600毫秒，实际约800毫秒。
这意味着它能更接近人类自然对话中的同时说话与聆听体验。

🔬 语宙深潜追问 · 进阶实操拆解

100毫秒延迟怎么才能稳定复现？

关键是端到端链路压缩：前端做VAD和流式切分，服务端用增量ASR、并行TTS和短上下文推理。
还要控制网络抖动、首包缓存和打断策略，否则实验室指标很难变成真实体验。

情感和音色控制如何避免翻车？

先把可控维度收敛到少数几个标签，如情绪强度、语速、音高和音色ID，再用少量高质量样本
做约束微调。上线时要加安全边界，避免过度拟人、口音失真和敏感内容被情绪放大。

🗳️ 读者观点微投票 · 您的实战立场是？

全双工语音交互，最难的是体验还是延迟？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [昆仑万维MoE-TTS发布：基于MoE架构的语音合成框架，用自然语言描述精准定制个性化声音](https://paooo.com/aigc-news/14091/)
 * [小米MiMo-V2-TTS重磅发布：上亿小时数据训练，Agent时代的语音合成革命](https://paooo.com/aigc-news/11236/)
 * [小米开源MiMo-Audio：首个端到端语音大模型发布，性能超越GPT-4o与Gemini](https://paooo.com/aigc-news/13628/)
 * [智源研究院开源FLM-Audio：全双工音频对话模型，边听边说、低延迟、支持中英双语](https://paooo.com/aigc-news/13526/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22905/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
