Xiaomi-Robotics-U0是什么
Xiaomi-Robotics-U0 是小米推出的 380 亿参数统一具身合成模型，基于世界基础模型持续训练，联合优化文生图、图像编辑、具身场景生成、具身迁移及具身视频生成五大任务。Xiaomi-Robotics-U0 是首个支持跨多种机器人形态的高质量多视角场景生成模型，在具身场景生成与迁移的人工评估中超越 GPT-Image-2.0，在 World Arena 具身视频生成榜单排名第一，将 π0.5 在真实世界操控任务的分布外成功率从 36.9% 提升至 63.2%。
阅读目录
Xiaomi-Robotics-U0的主要功能
-
文生图生成：支持高质量文本到图像合成，保留基础世界模型的视觉知识。
-
图像编辑：支持 Any-to-Image 编辑，包括相机控制、时间控制、结构提取等细粒度操作。
-
具身场景生成：根据机器人形态和场景描述，生成多视角一致的初始观察画面。
-
具身迁移：在保持多视角一致性和交互动态的前提下，实现跨场景的结构化可控迁移。
-
具身视频生成：支持零样本多视角具身视频生成，将静态场景合成为时序连贯的操作视频。
Xiaomi-Robotics-U0的技术原理
-
统一自回归框架：基于 EMU3.5初始化，采用 IBQ Tokenizer 进行 16×16 空间压缩，所有模态统一为离散词表进行 next-token 预测。
-
联合持续训练：在通用域和具身数据集上统一自回归目标进行持续训练，避免用有限机器人数据导致的泛化能力损失。
-
FlashAR+ 推理加速：引入反对角线并行解码的垂直预测头，结合 vLLM 优化，1024×1024 分辨率图像生成速度提升 82.9 倍。
-
结构化控制分解：将场景解耦为工作空间、任务对象、无关对象、光照、背景五个独立控制维度，支持可扩展的具身视频增强。
-
子任务-子目标交错学习：通过 HDBSCAN 聚类对机器人轨迹进行子任务分解，生成交错的图像-文本序列，捕捉长程任务进展和细粒度交互动态。
微信关注回复“开源”，加入AI开源项目交流群
如何使用Xiaomi-Robotics-U0
- 环境配置：访问小米机器人官网下载模型权重与推理代码，配置支持 CUDA 和 vLLM 的高性能 GPU 环境。
- 模型加载：基于 EMU3.5 架构初始化并加载 Xiaomi-Robotics-U0 的 380 亿参数检查点，统一调用 IBQ Tokenizer 处理多模态输入序列。
- 文生图生成：输入文本描述，通过标准自回归 next-token 预测直接生成 1024×1024 分辨率的高质量图像。
- 图像编辑：提供一至三张参考图像配合文本指令，模型基于 Any-to-Image 能力执行相机控制、时间控制或结构提取等细粒度编辑。
- 具身场景生成：输入机器人形态描述与结构化场景文本，模型输出严格满足多视角一致性和几何连贯性的初始观察画面。
- 具身迁移：给定当前多视角观察与目标场景描述，模型在保持交互动态的前提下生成迁移后的多视角 RGB 图像。
- 具身视频生成：提供初始观察帧与任务指令，模型通过自回归展开生成 15 至 25 帧时序连贯的机器人操作视频。
- 推理加速：启用 FlashAR+ 垂直预测头与 vLLM 优化，实现 1024×1024 分辨率下图像生成速度提升 82.9 倍。
- 数据引擎应用：将生成的具身场景或视频序列直接输入下游机器人策略网络，用于提升真实世界操控任务的分布外泛化能力。
Xiaomi-Robotics-U0的核心优势
-
统一性：首个将基础图像/视频生成与具身生成统一在单一框架内的模型，避免后训练导致的视觉知识遗忘。
-
多视角一致性：支持跨多种机器人形态的高质量多视角场景生成，严格满足几何连贯性和相机标定约束。
-
可控迁移：引入结构化控制机制，可在保持交互动态的前提下对工作空间、背景、光照等维度进行细粒度编辑。
-
数据引擎能力：生成的具身场景可直接展开为时序连贯的操作视频，为下游策略学习提供可扩展的合成轨迹。
-
SOTA 性能：在具身场景生成与迁移上超越 GPT-Image-2.0，在 World Arena 具身视频生成排名第一。
Xiaomi-Robotics-U0的项目地址
- 项目官网：https://robotics.xiaomi.com/xiaomi-robotics-u0.html
- HuggingFace模型库：https://huggingface.co/collections/XiaomiRobotics/xiaomi-robotics-u0
- arXiv技术论文：https://arxiv.org/pdf/2607.11643
Xiaomi-Robotics-U0的同类竞品对比
| 维度 | Xiaomi-Robotics-U0 | π0.5 |
|---|---|---|
| 定位 | 统一具身合成世界模型，专注生成可控数据与场景 | 端到端视觉-语言-动作策略模型，专注直接控制机器人 |
| 参数规模 | 380 亿参数自回归 Transformer | 采用 VLM 主干 + Action Expert 分层架构 |
| 核心能力 | 多视角场景生成、具身迁移、视频生成、图像编辑 | 端到端机器人控制、家庭泛化任务执行 |
| 架构 | 基于 EMU3.5 初始化，统一 next-token 预测 | 预训练离散动作 token，后训练流匹配生成连续动作 |
| 数据引擎 | 可直接生成具身场景与视频，将 π0.5 分布外成功率从 36.9% 提升至 63.2% | 本身不具备数据生成能力，依赖真实世界采集 |
| 多视角一致性 | 原生支持跨多种机器人形态的多视角场景生成与几何连贯迁移 | 作为单视角策略模型，不直接处理多视角合成 |
| 视觉知识保留 | 联合训练通用生成与具身任务，VLM 基准保持高分（ERQA 40.8、SEED 78.6） | VLM 基准得分较低（ERQA 0.0、SEED 21.5），视觉理解受损 |
Xiaomi-Robotics-U0的应用场景
-
机器人数据合成：为真实机器人训练生成大规模、多样化的合成操作轨迹，解决真实数据收集成本高、场景受限的问题。
-
跨形态场景迁移：将同一操作任务从一种机器人形态（如单臂）迁移到另一种形态（如双臂），保持场景一致性。
-
仿真环境构建：快速生成高质量多视角机器人操作场景，用于仿真平台训练和策略验证。
-
操作策略增强：利用生成的分布外数据提升机器人策略的泛化能力，如将 π0.5 的成功率提升 26.3%。
-
具身智能研究：作为世界基础模型，支持长程任务规划、子任务分解和交互动态预测等基础研究。
