# 阿里重磅开源Qwen3-Omni：全球首个原生全模态AI，36项测试22项SOTA碾压GPT-4o

- Link: https://paooo.com/aigc-news/13583/
- Published: 2026-06-20T23:42:22+08:00
- Author: 站外新闻

> **💡 站外导读：**多模态AI正从’拼凑式’走向’原生融合’。当前主流模型在处理多种数据
> 类型时，常面临性能折损或架构割裂的难题。阿里通义团队最新开源的Qwen3-Omni，正是
> 为破解这一行业痛点而生。它采用创新的Thinker-Talker架构，实现文本、图像、音频、
> 视频的端到端原生处理，宣称在多项基准测试中超越顶尖闭源模型，并保持极低延迟。这
> 标志着全模态AI技术迈入新阶段，为开发者与企业提供了更强大、更统一的AI底座。

## Qwen3-Omni是什么

Qwen3-Omni是阿里通义团队推出的业界首个原生端到端全模态AI模型，能无缝处理文本、图像、
音频和视频等多种模态数据。模型在36项音频及音视频基准测试中22项达到SOTA水平，支持
119种语言的文本处理，具备全球化语言能力。模型延迟低至211毫秒，高度可控，支持系统
[提示词](https://paooo.com/ai-image-prompts/)自定义，具备强大的内置工具调用功能。
Qwen团队开源了多个版本，包括Qwen3-Omni-30B-A3B-Instruct、Qwen3-Omni-30B-A3B-Thinking
和Qwen3-Omni-30B-A3B-Captioner，推动技术发展和应用创新。模型现已上线[Qwen Chat](https://ai-bot.cn/qwen-chat/)
模型体验平台。

阅读目录

 * [Qwen3-Omni是什么](https://paooo.com/aigc-news/13583/#qwen3omni%e6%98%af%e4%bb%80%e4%b9%88)
 * [Qwen3-Omni的主要功能](https://paooo.com/aigc-news/13583/#qwen3omni%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Qwen3-Omni的技术原理](https://paooo.com/aigc-news/13583/#qwen3omni%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Qwen3-Omni的性能表现](https://paooo.com/aigc-news/13583/#qwen3omni%e7%9a%84%e6%80%a7%e8%83%bd%e8%a1%a8%e7%8e%b0)
 * [Qwen3-Omni的项目地址](https://paooo.com/aigc-news/13583/#qwen3omni%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Qwen3-Omni的应用场景](https://paooo.com/aigc-news/13583/#qwen3omni%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/13583/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![Qwen3-Omni](https://paooo.com/wp-content/uploads/2026/05/Qwen3-Omni-website-2-
1.avif)

## Qwen3-Omni的主要功能

 * **原生全模态**：Qwen3-Omni是原生全模态[大模型](https://paooo.com/ai-study/)，
   预训练全模态不降智。
 * **强大的性能**：在36项音频及音视频基准测试中斩获32项开源SOTA与22项总体SOTA，超越
   Gemini-2.5-Pro、Seed-ASR、GPT-4o-Transcribe等闭源强模型，同时图像和文本性能在
   同尺寸模型中达到SOTA水平。
 * **多语言**：支持119种文本语言交互、19种语音理解语言与10种语音生成语言。
 * **更快响应**：纯模型端到端音频对话延迟低至211ms，视频对话延迟低至507ms。
 * **长音频**：支持长达30分钟音频理解。
 * **个性化**：支持system prompt随意定制，能修改回复风格，人设等。
 * **工具调用**：支持function call，实现与外部工具/服务的高效集成。
 * **开源通用音频Captioner**：开源Qwen3-Omni-30B-A3B-Captioner，低幻觉且非常详细
   的通用音频caption模型，填补开源社区空白。

## Qwen3-Omni的技术原理

 * **Thinker-Talker架构**：
    - **Thinker**：主要负责文本生成任务，能处理文本输入、输出高层语义表征，为后续
      的语音生成提供基础信息。
    - **Talker**：专注于流式语音Token的生成，直接用Thinker输出的语义表征，通过自
      回归方式预测多码本序列，实现低延迟的逐帧流式语音生成。
    - **MTP模块**：在解码过程中，MTP模块负责输出当前帧的残差码本，通过Code2Wav模
      块将码本合成对应的音频波形，实现高效的流式音频生成。
 * **创新架构设计**：
    - **AuT音频编码器**：基于海量音频数据（2000万小时）训练而成，具备强大的通用音
      频表征能力，为模型处理音频任务提供坚实基础。
    - **MoE架构**：Thinker和Talker均采用MoE（Mixture of Experts）架构，支持高并发
      处理和快速推理，显著提升模型在多任务处理时的效率和性能。
    - **多码本技术**：Talker用多码本自回归方案，在每步生成过程中，能生成一个编解码
      帧，MTP模块会同步输出剩余的残差码本，设计进一步优化语音生成的效率和质量。
 * **全模态不降智**：在文本预训练阶段，模型将单模态数据与跨模态数据混合训练。混合
   训练方式保证了各模态的性能与纯单模态训练相当，显著增强模型的跨模态能力，使模型
   在处理多模态任务时更加得心应手。Qwen3-Omni在语音识别和指令跟随任务上的表现十分
   出色，性能与Gemini-2.5-Pro等顶尖模型相当，能准确地理解和执行语音指令，为用户提供
   流畅的语音交互体验。
 * **实时音频和音视频交互**：整个流程（包括AuT音频编码、Thinker文本处理、Talker语音
   生成及Code2wav音频合成）均实现全流式处理，支持首帧Token直接流式解码为音频输出，
   确保实时音频和音视频交互的高效性和流畅性。

## Qwen3-Omni的性能表现

 * **在全方位性能评估中**，Qwen3-Omni在单模态任务上的表现与同规模的Qwen系列单模态
   模型相当，尤其在音频任务上表现突出，展现出显著优势。
 * **在36项音视频基准测试中**，Qwen3-Omni在32项测试中取得开源领域的最佳性能，22项
   测试达到行业顶尖水平（SOTA），性能超越[Gemini-2.5-Pro](https://ai-bot.cn/gemini-2-5-pro/)、
   [Seed-ASR](https://ai-bot.cn/seed-asr/)、[GPT-4o-Transcribe](https://ai-bot.cn/gpt-4o-transcribe/)
   等强大的闭源模型。

![Qwen3-Omni](https://paooo.com/wp-content/uploads/2026/05/Qwen3-Omni-website.avif)

## Qwen3-Omni的项目地址

 * **项目官网**：https://qwen.ai/blog?id=65f766fc2dcba7905c1cb69cc4cab90e94126bf4&
   from=research.latest-advancements-list
 * **GitHub仓库**：https://github.com/QwenLM/Qwen3-Omni
 * **HuggingFace模型库**：https://huggingface.co/collections/Qwen/qwen3-omni-68d100a86cd0906843ceccbe
 * **技术论文**：https://github.com/QwenLM/Qwen3-Omni/blob/main/assets/Qwen3_Omni.
   pdf

## Qwen3-Omni的应用场景

 * **内容创作**：模型能生成高质量的文本、图像、音频和视频内容，为创作者提供丰富的
   创意素材，提升创作效率。
 * **智能客服**：模型支持多语言文本和语音交互，快速准确地理解用户问题并提供解决方案，
   提升客户服务体验。
 * **教育领域**：模型能生成个性化的学习材料和互动内容，如音频讲解、图像示例等，满足
   不同学生的学习需求。
 * **医疗辅助**：模型能处理医学影像、语音记录等多模态数据，辅助医生进行诊断和治疗
   方案制定。
 * **多媒体娱乐**：模型能创作音乐、视频等多媒体内容，为用户提供个性化娱乐体验。

#### 📝 站长洞察 (Editor’s Insight)

Qwen3-Omni的发布，是阿里在AGI竞赛中下的一记重棋。其’原生全模态’和’不降智’的承诺，
直击当前多模态模型的核心技术瓶颈——如何实现模态间的无缝协同与性能保全。Thinker-Talker
架构将语义理解与流式生成解耦，是工程上实现低延迟交互的关键创新。2000万小时音频数据
训练的AuT编码器和MoE架构，体现了阿里在数据、算力和算法上的深厚积累。这不仅是一个
模型开源，更是一套可落地的全栈解决方案。它将加速智能客服、内容创作、具身智能等场景
的范式革新，并迫使行业重新思考’多模态’的定义——未来属于真正的原生融合，而非简单的
模态拼接。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)