MiniCPM-Robot是什么
MiniCPM-Robot是面壁智能开源的轻量具身智能 VLA 模型系列，包含 1.5B 参数的 MiniCPM-RobotManip 通用操作模型与 0.9B 参数的 MiniCPM-RobotTrack 跟踪导航模型，配套 PhyAI 推理框架。模型采用视觉 Token 压缩与流式上下文记忆技术，支持机械臂长程精细操作与机器狗室内外目标跟踪，可在弱网环境下端侧本地运行，推理延迟低至 120ms，在主流评测中跻身第一梯队。
阅读目录
MiniCPM-Robot的主要功能
-
MiniCPM-RobotManip：控制机械臂完成长程操作任务（如做三明治），支持多摄像头输入，具备上下文记忆能力，可记住任务进度与历史动作。
-
MiniCPM-RobotTrack：让机器狗根据自然语言指令持续跟踪指定目标，支持单目标跟踪、多人干扰跟踪和模糊目标跟踪，可在弱网/无网环境下本地运行。
MiniCPM-Robot的技术原理
-
视觉 Token 压缩：过滤与任务无关的冗余视觉信息，减少单次推理计算量。
-
流式上下文记忆：复用已处理的历史信息，新画面只需增量计算，避免长任务计算量暴涨。
-
自进化数据管线：在仿真与真实环境中主动暴露模型薄弱环节，收集错误场景进行专家纠偏与闭环训练。
微信关注回复“开源”，加入AI开源项目交流群
如何使用MiniCPM-Robot
- 环境准备：
-
克隆 GitHub 仓库并安装依赖。
-
准备硬件：机械臂（RobotManip）或宇树 Go2 Edu 机器狗（RobotTrack）。
-
- 模型加载：从 Hugging Face 下载对应模型权重。通过 PhyAI 框架加载模型，完成量化与算子优化。
- 摄像头接入：配置腕部相机与主视角相机（RobotManip）或机器狗原装摄像头（RobotTrack）。
- 指令输入：输入自然语言指令（如”跟着前面穿黑衣服的人”或”做三明治”）。
- 一键启动：运行开源脚本，模型接收视觉与语言输入，输出机器人动作指令并执行。
MiniCPM-Robot的核心优势
-
极小参数，第一梯队性能：1.5B 参数在 LIBERO、Calvin、RoboTwin2 等评测中比肩 π0.5 等更大模型；RMBench 上下文记忆得分约 53 分，远超 π0.5 的约 10 分。
-
推理延迟减半：H100 上单帧决策延迟约 120ms，接近 π0.5（234ms）的一半。
-
纯端侧运行：机器狗本地算力即可稳定 5Hz 以上跟踪，断网仍能持续工作。
MiniCPM-Robot的项目地址
- 项目官网：https://github.com/OpenBMB/MiniCPM-Robot
- HuggingFace模型库：
- https://huggingface.co/openbmb/MiniCPM-RobotManip
- https://huggingface.co/openbmb/MiniCPM-RobotTrack
MiniCPM-Robot的同类竞品对比
| 维度 | MiniCPM-RobotManip | π0.5 |
|---|---|---|
| 参数量 | 1.5B | 3B |
| 开源 | ✓ | ✓ |
| LIBERO | 97.5 | 96.9 |
| Calvin | 4.1 | 4.1 |
| RMBench | 53.5 | ~10 |
| 单帧延迟 | ~120ms | ~234ms |
| 上下文记忆 | 流式复用历史信息 | 主要基于单帧判断 |
| 端侧部署 | 支持本地运行 | 通常需云端算力 |
MiniCPM-Robot的应用场景
-
餐饮备餐：双臂机械臂按指令完成取面包、夹生菜火腿鸡蛋等长程三明治制作任务。
-
展厅导览：机器人在无网环境下基于本地知识库完成离线讲解、自由问答与路线规划。
-
园区巡检：机器狗识别车辆违停、路面异常与公共设施问题，敏感画面本地处理不上云。
-
仓储物流：机器人执行货架取放、物料搬运等长程操作，失败时自动重试与恢复。
-
室内外跟随：机器狗根据自然语言指令在电梯、地下停车场等弱网环境中持续跟踪目标人物。
