# MiniCPM-o 4.5开源发布：9B参数全模态模型，实时看听说，端侧运行超越GPT-4o

- Link: https://paooo.com/aigc-news/11502/
- Published: 2026-06-11T14:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 9B全模态旗舰模型，首次实现“即时自由对话”的全双工实时交互。
 * OpenCompass评测中视觉理解超越GPT-4o与Gemini 2.0 Pro，端侧可部署。
 * 支持主动发言、声音克隆与流式处理，适合助手、客服、教育等场景。

> **💡 站外导读：**在AI多模态模型的发展浪潮中，一个核心瓶颈正困扰着行业：当前主流
> 模型依然被“回合制”的交互模式所束缚，用户说完一句，AI才能回应一句，效率低下且体验
> 割裂。与此同时，强大的多模态能力往往依赖云端算力，难以在隐私敏感和实时响应的端
> 侧场景落地。

## MiniCPM-o 4.5是什么

MiniCPM-o 4.5 是面壁智能开源的 9B 参数全模态旗舰模型，采用端到端架构融合 [SigLip2](https://ai-bot.cn/siglip-2/)、
Whisper、[CosyVoice2](https://ai-bot.cn/cosyvoice/) 与[ Qwen3-8B](https://ai-bot.cn/qwen3/)。
作为行业首个支持「即时自由对话」的模型，模型实现了全双工交互——能边看、边听、边说，
告别传统回合制”对讲机”模式。模型具备领先的视觉理解、超拟人语音生成及[声音克隆](https://ai-bot.cn/ai-voice-cloning-tools/)
能力，支持主动交互与实时流媒体处理，在端侧设备即可运行，已适配昇腾、海光等多种国产
芯片，通过 llama.cpp、vLLM 等框架实现高效部署。

阅读目录

 * [MiniCPM-o 4.5是什么](https://paooo.com/aigc-news/11502/#minicpmo-45%e6%98%af%e4%bb%80%e4%b9%88)
 * [MiniCPM-o 4.5的主要功能](https://paooo.com/aigc-news/11502/#minicpmo-45%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MiniCPM-o 4.5的技术原理](https://paooo.com/aigc-news/11502/#minicpmo-45%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [MiniCPM-o 4.5的项目地址](https://paooo.com/aigc-news/11502/#minicpmo-45%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MiniCPM-o 4.5的应用场景](https://paooo.com/aigc-news/11502/#minicpmo-45%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/11502/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![MiniCPM-o 4.5](https://paooo.com/wp-content/uploads/2026/05/MiniCPM-o-4.5-website-
1.avif)

## MiniCPM-o 4.5的主要功能

 * **全双工实时交互**：模型能同时处理视觉、音频输入和生成语音输出，实现边看、边听、
   边说的并行感知与表达。
 * **主动智能交互**：模型以每秒一次的频率自主监测环境变化，主动判断何时发言，实现
   主动提醒、实时评论等类人化的交互行为。
 * **超拟人语音合成**：支持情感饱满、音色自然的端到端语音生成，可基于几秒音频样本
   克隆定制声音，且长语音合成保持稳定一致。
 * **领先视觉理解**：在OpenCompass评测中以9B参数超越GPT-4o和Gemini 2.0 Pro，支持
   高分辨率图像解析与高帧率视频实时理解。
 * **端到端文档解析**：在OmniDocBench基准上达到业界最佳水平，能高效处理复杂版式的
   英文文档理解与结构化提取任务。

## MiniCPM-o 4.5的技术原理

 * **端到端全模态架构设计**：MiniCPM-o 4.5将SigLip2视觉编码器、Whisper-medium音频
   编码器、CosyVoice2语音解码器与Qwen3-8B语言模型通过稠密特征连接进行端到端联合训练，
   紧密耦合的设计使各模态信息能在模型内部自由流转，避免传统流水线架构中的信息损耗
   与误差累积，实现更精准的多模态理解与生成控制。
 * **全双工多模态实时流机制**：模型将离线的模态编解码器改造为支持流式输入输出的在
   线版本，语音解码器采用文本与语音token交错建模的方式实现全双工生成。在推理过程
   中，时分复用机制将并行的多模态数据流划分为毫秒级时间片内的顺序信息组，使语言模型
   主干能统一调度处理，在单一架构内高效完成实时音视频流的同步感知与响应。
 * **主动交互决策机制**：语言模型模块持续监控输入的视频流与音频流，以1Hz的频率自动
   触发发言决策，高频决策能力结合全双工特性，使模型能根据环境动态变化自主选择最合适
   的时机与内容进行回复，突破传统模型被动等待用户指令的局限。
 * **可配置语音建模设计**：模型延续多模态系统提示词的设计范式，同时支持文本系统提示
   词与音频系统提示词的双重输入，音频系统提示词用于指定目标音色特征。这种设计使模型
   在推理阶段仅需提供简短的参考音频样本，可完成声音克隆与角色扮演。

## MiniCPM-o 4.5的项目地址

 * **GitHub仓库**：https://github.com/OpenBMB/MiniCPM-o
 * **HuggingFace模型库**：https://huggingface.co/openbmb/MiniCPM-o-4_5
 * **在线体验Demo**：https://huggingface.co/spaces/openbmb/minicpm-omni

## MiniCPM-o 4.5的应用场景

 * **智能助手与陪伴**：模型作为全能型AI助手，可实时感知用户环境与情绪，主动提供提醒、
   建议或情感陪伴，支持个性化声音克隆，打造专属交互体验。
 * **实时视频交互**：适用视频监控分析、直播实时解说、远程教学辅导等场景，能同步理解
   画面内容与语音指令，即时作出语音反馈。
 * **智能客服与导购**：在电商、金融、政务等领域提供自然流畅的语音服务，支持多轮对话
   与主动推荐，提升用户服务体验与业务转化效率。
 * **教育与培训**：用于语言学习陪练、虚拟教师、技能培训等，通过视觉演示与语音讲解
   的结合，实现沉浸式互动教学。
 * **内容创作与娱乐**：支持有声读物生成、虚拟角色配音、游戏NPC交互等，声音克隆功能
   可快速复刻特定人物音色进行角色扮演。

#### 📝 站长洞察 (Editor’s Insight)

MiniCPM-o 4.5的发布，标志着AI交互从“对讲机”时代正式迈向“自由对话”的全新范式。其“
边看、边听、边说”的全双工能力，本质上是通过端到端的架构革命，将离散的感知与生成模
块进行了深度耦合，这比简单的Pipeline串联要复杂和深刻得多。更值得关注的是其“主动交互”
机制，这不再是被动的问答机器，而是一个能主动观察环境、自主决策发言的“[智能体](https://paooo.com/trends/)”
雏形。结合其对昇腾、海光等国产芯片的适配，这不仅是技术上的突破，更是中国AI在关键
基础设施上实现自主可控的一次重要实践。它预示着下一代AI助手将从“工具”进化为更自然
的“环境智能伙伴”。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

**Gemini ↗**

Google推出的AI聊天对话机器人Gemini。

**LLaMA ↗**

Meta（Facebook）推出的AI大语言模型。

❓ 常见问题解答（FAQ）

MiniCPM-o 4.5是什么模型？

MiniCPM-o 4.5是面壁智能开源的9B参数全模态旗舰模型，融合视觉、语音与语言能力，支持
边看、边听、边说的全双工交互，并可在端侧设备运行。

MiniCPM-o 4.5真的能超越GPT-4o吗？

文章摘录显示，它在OpenCompass评测中以9B参数超越GPT-4o和Gemini 2.0 Pro，主要体现在
视觉理解能力上；这属于特定基准下的结果，不等同于所有任务全面领先。

MiniCPM-o 4.5适合哪些应用场景？

适合智能助手与陪伴、实时视频交互、智能客服与导购、教育培训，以及内容创作与娱乐等
场景，尤其适合需要实时语音反馈、主动交互和声音克隆的应用。

🔬 语宙深潜追问 · 进阶实操拆解

端侧全模态最适合哪些产品？

适合对隐私、实时性和离线能力要求高的产品，如陪伴助手、车载交互、教育终端和工业巡
检。若任务依赖大规模知识检索，仍需云端协同。

全双工实时交互怎么做得稳？

要处理打断、回声消除、说话人切换和低延迟流式解码。工程上建议把语音前端、视觉理解
和对话管理拆成独立模块，避免单点卡顿拖垮体验。

🗳️ 读者观点微投票 · 您的实战立场是？

9B 端侧全模态，能真正挑战 GPT-4o 吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [MiniCPM-o 2.6 – 面壁智能开源的多模态大模型，性能媲美GPT-4o](https://paooo.com/aigc-news/22885/)
 * [Qwen2.5-Omni – 阿里开源的端到端多模态模型](https://paooo.com/aigc-news/20772/)
 * [Qwen2.5-Omni-3B – 阿里 Qwen 团队推出的轻量级多模态 AI 模型](https://paooo.com/aigc-news/20067/)
 * [Mini-Omni – 开源的端到端实时语音对话大模型](https://paooo.com/aigc-news/27030/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/11502/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
