💡 站外导读：将多模态大模型（VLM）塞进消费级智能手机，一直被公认为大模型端侧工程落地的“珠穆朗玛峰”。高清晰度图像切片、长视频时序建模与高达数十 GB 的模型权重，往往分分钟挤爆手机那仅有数 GB 的可用运存。清华系大模型创企面壁智能联合 OpenBMB 正式开源了新一代端侧旗舰多模态模型 MiniCPM-V 4.7。作为全球首个真正能在手机端实现“无损、流畅运行”的开源 MoE 多模态巨兽，其 35B-A3B 旗舰版凭借自研的“前瞻专家调度（LES）”与全链路权重优化，仅需约 3GB 内存即可在 iPhone 17 Pro Max 上飚出 13+ tokens/s 的实时推理速度，在 34 项权威多模态基准中全线领跑同档模型，彻底颠覆了端侧视觉智能的能效边界。
一、工程奇迹：如何在 3GB 内存中流畅驾驭 65.6 GiB 权重？
在传统的端侧模型加载中，35B 级别的 MoE 模型即使经过量化，其原始存储体积仍高达 65.6 GiB，绝无可能被全量常驻在手机脆弱的统一内存中。通常的做法是将大部分专家权重存放在外部 Flash/SSD 中按需读取。然而，常规 MoE 逐层路由机制必须依赖上一层的输出才能计算下一层的激活专家，导致计算管线每过一层都要停顿等待 SSD 读盘（I/O 阻塞），使得实际生成速度跌落至不足 1-2 tokens/s。MiniCPM-V 4.7 构筑了四大底层软硬件协同防线：
- 前瞻专家调度（LES, Lookahead Expert Scheduling）：研究团队发现，多模态推理中相邻神经网络层的隐藏层特征存在高度空间相似性。LES 创新性地利用当前层的输入路由特征，跨层预判下一层将要被激活的专家组合，在 GPU 进行当前层计算的同时，触发后台流水线将预测专家从 SSD 提前预取至内存。实测消除 90% 以上的 I/O 等待，端侧推理吞吐直飙 5 倍，且输出精度零损失；
- 连续地址空间权重存取重组：重构了权重在磁盘文件中的物理二进制排布，将原本离散分布的专家参数转换为按专家 ID 连续存储的内存映射块（mmap），使得手机 SSD 的顺序读取带宽（Sequential Read）得以拉满，单次 I/O 吞吐开销降低 70%；
- LLaVA-UHD v4 视觉 Token 动态压缩：在视觉编码器内部进行特征自适应聚合，支持 4 倍与 16 倍两档无损压缩模式切换。在 16 倍模式下，极大降低跨模态投影层（Cross-Attention）的计算量，保证高清图纸、长长图与 PDF 文档高保真解析的同时，交互延迟大幅缩减；
- DSpark 投机解码（Speculative Decoding）：引入轻量化 Draft 模型一次性投机猜测多个 Candidate Tokens，由 MoE 主模型一次前向并行校验，多个 Token 分摊一次专家调度与加载的固定开销，端侧整体生成效率提升 1.17 倍。
二、基准测试：全面超越更大体量模型的全景战力
在权威的多模态与视觉推理测评中，MiniCPM-V 4.7 35B-A3B 不仅全面碾压了同为 MoE 架构的 Qwen3.6-35B-A3B，甚至跨级超越了参数体量更大的密集型竞品：
| 评测基准 (Benchmark) | MiniCPM-V 4.7 (35B-A3B) | Qwen3.6-35B-A3B | 应用场景映射 |
|---|---|---|---|
| 通用视觉理解 (MMBench) | 91.72 (拔得头筹) | 88.35 | 多图对比、看图识物与开放域视觉问答 |
| 复杂文档与表格 (OCRBench) | 91.20 | 86.40 | 发票报销、PDF 表格抽取、高精度文字识别 |
| 数学逻辑推理 (MathVista) | 88.00 | 82.15 | 几何搜题、理化实验图表分析与科学推理 |
| 长视频理解 (LongVideoBench) | 68.90 | 61.40 | 长时序行车记录仪检索、安防视频智能切片 |
| 端侧实际内存与推理吞吐 | ~3GB 内存 / 13+ tok/s | 需 12GB+ 内存 / 无法流畅跑 | 真正实现普通消费级手机开箱即跑 |
三、双版本产品矩阵与全栈硬件 Day-0 生态
为了满足不同硬件形态的算力梯度需求，面壁智能此次同步开源了高低搭配的双版本：
- MiniCPM-V 4.7 35B-A3B（旗舰主力）：面向移动端高端旗舰机（iPhone 16/17 系列、高端安卓）、iPad Pro（M 系列）以及轻薄笔记本电脑，拉满端侧复杂多模态理解的能力上限；
- MiniCPM-V 4.7 1B（极致轻量小钢炮）：总参数仅 10 亿级别，专为千元级入门手机、低功耗物联网（IoT）设备及微型边缘模组设计，性能全面越级超越 Qwen3.5-0.8B；
- 国产算力 Day-0 全面打通：除兼容苹果 MLX、开源 llama.cpp/Ollama 之外，官方在代码发布首日即完成了对华为昇腾（Ascend）、海光（Hygon DCU）等国产 AI 加速芯片的原生算子深度适配，为各行业信创端侧设备的离线智能化提供了开箱即用的落地方案。
📝 站长洞察 (Editor’s Insight)
长期以来，移动互联网行业对“端侧大模型”往往抱持观望甚至怀疑态度——原因很简单，云端 API 只要掏钱就能调用最顶级的 GPT-4o 或 Claude 3.5 Sonnet，何苦折腾端侧那有限的算力？然而，随着数据主权合规、个人生物隐私以及离线极速响应成为刚性约束，将多模态能力留在终端变成了不可逆的趋势。MiniCPM-V 4.7 的核心价值不仅在于那几项刷榜的分数，而在于它通过“前瞻专家调度 LES”等底层系统工程，真正跨越了硬件存储与运算的物理瓶颈，证明了‘MoE 架构不必全量驻留内存也能极速运转’的工程可行性。这对于移动办公文档助手、车载离线视觉系统以及未来具身仿生机器人的本地计算单元，都是极具启发意义的示范之作。
