💡 站外导读:长期以来,具身智能(Embodied AI)面临的核心瓶颈并非算力不足,而是物理交互数据的极度匮乏——依赖高成本的人工遥操作(Teleoperation)采集示教轨迹,每小时数据成本高达数百美元且极难规模化。Runway 今日正式以宽松的 Apache 2.0 协议开源其首款机器人世界动作模型(World Action Model)Praxis-1 的模型权重、推理与微调代码。该模型采用 27B 参数的混合专家(MoE)扩散 Transformer 架构,颠覆性地利用海量无标注互联网视频进行物理世界因果规律预训练,仅凭少量 LoRA 适配即可跨形态驱动人形机器人、工业臂与双臂装配站,并在基准评测中实现高达 80% 的任务成功率,彻底拉开开放物理智能新篇章。

一、具身智能的“数据墙”困境与 Cosmos Coalition 破局路线
在自然语言大模型领域,互联网上数十万亿 Token 的公有文本铸就了 GPT 与 Claude 的涌现能力;然而在具身智能领域,机器人动作策略模型(Robot Policy Models)长期受困于狭窄的数据孤岛。业界主流做法普遍依赖人工操作动捕手套或主从式遥操作机械臂收集示教数据。这种模式不仅耗资巨大,而且采集到的数据往往与特定机器人的本体自由度(DoF)、夹爪几何构型及固态相机视角高度强绑定,几乎无法跨硬件泛化。
作为英伟达 Cosmos Coalition 的创始成员,Runway 提出了完全不同的物理 AI 技术演进路径:将互联网海量真实世界视频视为最丰富的物理先验知识库。物理世界的因果规律(重力、惯性、碰撞形变、物体遮挡与摩擦力)早已隐式编码在人类日常拍摄的数千万小时视频中。通过自监督视频生成模型与空间动作因果的联合建模,模型在接触物理机械臂之前,就已经掌握了物体运动的常识与任务演化逻辑。
二、Praxis-1 架构全景:27B MoE 扩散 Transformer 与动作空间解耦
Praxis-1 本质上是一个端到端的扩散 Transformer(Diffusion Transformer)世界动作模型,总参数规模达 27B,采用混合专家(MoE, Mixture of Experts)设计以平衡复杂物理推理深度与实时控制推理吞吐率:
- 视频-动作联合隐空间生成:模型不同于传统的单向动作预测网络(如仅输出 7 自由度关节位置增量),而是将视觉场景未来帧预测(Future Visual Synthesis)与执行器动作轨迹(Action Trajectories)投影至同一多模态隐空间,实现“想清楚动作后果再执行”的闭环因果约束。
- 极低示教样本的快速收敛力:在与足式人形机器人厂商 Noble Machines 的工业仓储测试中,面对“抓取木板并整齐码放进集装箱”的重工业任务,上一代模型需要数百小时持续微调;而 Praxis-1 仅通过 30 分钟的人工示范轨迹,就达成了 15 次测试连续全部成功的惊人战绩。在后续突发面对全新未见过的混杂散乱木板堆时,零额外微调下的自主抓取与清理料箱成功率依然高达 60%。
- 多尺度时序动作分块(Action Chunking):通过在扩散生成器中引入可变时序感受野,模型既能保持 50Hz 的高频端侧避障微调,又能规划跨越数秒的长程宏观搬运步骤。

三、跨形态泛化实测:单检查点统一驱动人形、六轴臂与双臂工作站
传统机器人模型往往需要针对特定机型单独训练模型权重,而 Praxis-1 展现出令人瞩目的“本体无关(Embodiment-Agnostic)”泛化能力。仅使用单个预训练基础检查点,结合极轻量级的 LoRA(Low-Rank Adaptation)微调,即可平滑适配形态截然不同的工业硬件:
- Noble Machines 人形机器人:针对重工业物流场景的足式双臂人形机器人,处理高负载木板搬运、大体积障碍物清理与人机混合作业;
- Standard Bots 六轴机械臂:针对精密制造工厂机床上下料(Machine Tending)与重型托盘码垛,提供毫米级的轨迹平滑度与抗振动控制;
- Ultra 双臂仓储工作站:针对电商物流履约中心的订单高速打包、异形轻质小包裹分拣与胶带封箱复杂双手协同。
四、核心基准评测:Praxis-1 与主流具身智能模型技术规格横评
在英伟达官方维护的 RoboLab-120 权威排行榜上,Praxis-1 强势夺得“世界动作模型”全榜第一名,并登顶开源端到端物理策略模型冠军。在面向真实机器人仿真的 SimplerEnv 严格基准中,对训练集从未出现过的 Google RT-1 机器人进行微调评测,Praxis-1 将任务执行成功率由 Google 官方原始 RT-1 策略的 52.4% 直接拉升至 80.0%,形成了压倒性代差。
| 核心对比维度 | 传统模仿学习 (ACT / DP) | Google RT-2 / OpenVLA | Runway Praxis-1 (本项目) |
|---|---|---|---|
| 核心模型架构 | CVAE / 扩散 MLP 策略网络 | VLM + 离散动作 Token 映射 | 27B MoE 扩散 Transformer 世界动作基座 |
| 主预训练数据源 | 单一机器人纯人工遥操作示范 | 通用图文数据集 + Open-X 遥操作集 | 海量互联网非结构化物理视频 + 开放物理交互流 |
| 新形态硬件适配成本 | 需从零采集数百小时完整轨迹 | 需重新对齐动作空间,跨构型迁移差 | 极低(仅需 30 分钟示范轨迹 + LoRA 局部微调) |
| SimplerEnv 任务成功率 | 41.5% | 52.4% (RT-1 基线) / 67.8% (OpenVLA) | 80.0% (大幅跃升 27.6 个百分点) |
| 开源分发与商用许可 | 学术开源,多限制于单臂仿真 | 部分开源 / 权重未完全开放商用 | Apache 2.0 完全开源权重、推理及微调代码,允许商用 |
📝 站长洞察 (Editor’s Insight)
Runway 开源 Praxis-1 具有深远的产业里程碑意义。在过去三年中,视频生成技术一直被视为仅限于创意影视与社交媒体的“数字玩具”;而 Praxis-1 的正式落地,物理证明了视频生成模型本质上就是高维世界因果仿真器。当一个模型能够逼真预测物理世界在受力后的下一帧演化时,它就已经具备了反向推导机械臂执行动作的能力。更为关键的是 Runway 坚定选择 Apache 2.0 协议开源权重,这直接击穿了特斯拉 Optimus 和 Figure AI 试图依靠封闭真机示教数据建立的数据护城河。硬件开发者不再需要耗资数千万元搭建动捕实验室,基于开源基座 + 少量 LoRA 即可在数天内为新型机械臂注入顶尖物理智能。这一由视频预训练向具身智能的逆向赋能,或将重塑未来十年的全球工业自动化格局。
Praxis-1是什么类型的机器人模型?
Praxis-1是Runway开源的机器人世界动作模型(World Action Model),采用27B参数的MoE扩散Transformer架构。它将未来视觉预测与动作轨迹建模到同一隐空间,目标是让机器人在执行前先理解动作后果。
Praxis-1为什么强调海量互联网视频预训练?
因为具身智能最缺的是高质量物理交互数据,而互联网视频天然包含重力、碰撞、遮挡、摩擦等物理规律的视觉线索。Praxis-1通过自监督视频预训练学习这些因果关系,从而减少对昂贵遥操作示教的依赖。
Praxis-1能适配哪些机器人硬件?
文中提到它可通过单个基础检查点加轻量LoRA,适配人形机器人、Standard Bots六轴机械臂和Ultra双臂仓储工作站,覆盖搬运、机床上下料、分拣与封箱等任务。
跨人形和机械臂时怎么做最小适配?
优先冻结通用视觉-动作骨干,只替换末端控制头和少量适配层;再用少量目标硬件轨迹做 LoRA/Adapter 微调,并统一动作空间与时序步长,降低跨平台迁移成本。
海量视频预训练如何避免学到伪物理?
要把视频监督和可执行约束结合:加入接触、碰撞、时序一致性损失,并用少量真实机器人数据做校准;同时对高风险动作做在线回放筛选,剔除“看起来对、执行会错”的样本。
