--- title: "Xiaomi-Robotics-U0 – 小米推出的统一具身合成模型" url: "https://paooo.com/aigc-news/30755/" author: "Prompt 语宙研究院" published_at: "2026-07-15T18:14:01+08:00" updated_at: "2026-07-15T18:14:01+08:00" categories: "AIGC 资讯" tags: "3D与空间智能, AI视频生成, 大模型微调, 开源大模型" source: "Prompt 语宙 (https://paooo.com)" ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)" --- # Xiaomi-Robotics-U0 – 小米推出的统一具身合成模型 > 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/30755/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-15 ## AI 30 秒核心看点 (TL;DR) - 统一具身合成框架：把图像、编辑、场景、迁移和视频生成纳入同一自回归模型。 - 实测表现突出：具身场景生成与迁移优于 GPT-Image-2.0，视频生成在 World Arena 排名第一。 - 对机器人更实用：可将合成场景直接转为策略数据，提升真实操控任务的分布外泛化。 ## Xiaomi-Robotics-U0是什么 Xiaomi-Robotics-U0 是小米推出的 380 亿参数统一具身合成模型，基于世界基础模型持续训练，联合优化文生图、图像编辑、具身场景生成、具身迁移及具身视频生成五大任务。Xiaomi-Robotics-U0 是首个支持跨多种机器人形态的高质量多视角场景生成模型，在具身场景生成与迁移的人工评估中超越 GPT-Image-2.0，在 World Arena 具身视频生成榜单排名第一，将 π0.5 在真实世界操控任务的分布外成功率从 36.9% 提升至 63.2%。 ## Xiaomi-Robotics-U0的主要功能 - **文生图生成**：支持高质量文本到图像合成，保留基础世界模型的视觉知识。 - **图像编辑**：支持 Any-to-Image 编辑，包括相机控制、时间控制、结构提取等细粒度操作。 - **具身场景生成**：根据机器人形态和场景描述，生成多视角一致的初始观察画面。 - **具身迁移**：在保持多视角一致性和交互动态的前提下，实现跨场景的结构化可控迁移。 - **具身视频生成**：支持零样本多视角具身视频生成，将静态场景合成为时序连贯的操作视频。 ## Xiaomi-Robotics-U0的技术原理 - **统一自回归框架**：基于 EMU3.5初始化，采用 IBQ Tokenizer 进行 16×16 空间压缩，所有模态统一为离散词表进行 next-token 预测。 - **联合持续训练**：在通用域和具身数据集上统一自回归目标进行持续训练，避免用有限机器人数据导致的泛化能力损失。 - **FlashAR+ 推理加速**：引入反对角线并行解码的垂直预测头，结合 vLLM 优化，1024×1024 分辨率图像生成速度提升 82.9 倍。 - **结构化控制分解**：将场景解耦为工作空间、任务对象、无关对象、光照、背景五个独立控制维度，支持可扩展的具身视频增强。 - **子任务-子目标交错学习**：通过 HDBSCAN 聚类对机器人轨迹进行子任务分解，生成交错的图像-文本序列，捕捉长程任务进展和细粒度交互动态。 微信关注回复“**开源**”，加入**AI开源项目交流群** ## 如何使用Xiaomi-Robotics-U0 - **环境配置**：访问小米机器人官网下载模型权重与推理代码，配置支持 CUDA 和 vLLM 的高性能 GPU 环境。 - **模型加载**：基于 EMU3.5 架构初始化并加载 Xiaomi-Robotics-U0 的 380 亿参数检查点，统一调用 IBQ Tokenizer 处理多模态输入序列。 - **文生图生成**：输入文本描述，通过标准自回归 next-token 预测直接生成 1024×1024 分辨率的高质量图像。 - **图像编辑**：提供一至三张参考图像配合文本指令，模型基于 Any-to-Image 能力执行相机控制、时间控制或结构提取等细粒度编辑。 - **具身场景生成**：输入机器人形态描述与结构化场景文本，模型输出严格满足多视角一致性和几何连贯性的初始观察画面。 - **具身迁移**：给定当前多视角观察与目标场景描述，模型在保持交互动态的前提下生成迁移后的多视角 RGB 图像。 - **具身视频生成**：提供初始观察帧与任务指令，模型通过自回归展开生成 15 至 25 帧时序连贯的机器人操作视频。 - **推理加速**：启用 FlashAR+ 垂直预测头与 vLLM 优化，实现 1024×1024 分辨率下图像生成速度提升 82.9 倍。 - **数据引擎应用**：将生成的具身场景或视频序列直接输入下游机器人策略网络，用于提升真实世界操控任务的分布外泛化能力。 ## Xiaomi-Robotics-U0的核心优势 - **统一性**：首个将基础图像/视频生成与具身生成统一在单一框架内的模型，避免后训练导致的视觉知识遗忘。 - **多视角一致性**：支持跨多种机器人形态的高质量多视角场景生成，严格满足几何连贯性和相机标定约束。 - **可控迁移**：引入结构化控制机制，可在保持交互动态的前提下对工作空间、背景、光照等维度进行细粒度编辑。 - **数据引擎能力**：生成的具身场景可直接展开为时序连贯的操作视频，为下游策略学习提供可扩展的合成轨迹。 - **SOTA 性能**：在具身场景生成与迁移上超越 GPT-Image-2.0，在 World Arena 具身视频生成排名第一。 ## Xiaomi-Robotics-U0的项目地址 - **项目官网**：https://robotics.xiaomi.com/xiaomi-robotics-u0.html - **HuggingFace模型库**：https://huggingface.co/collections/XiaomiRobotics/xiaomi-robotics-u0 - **arXiv技术论文**：https://arxiv.org/pdf/2607.11643 ## Xiaomi-Robotics-U0的同类竞品对比 维度 Xiaomi-Robotics-U0 π0.5 **定位** 统一具身合成世界模型，专注生成可控数据与场景 端到端视觉-语言-动作策略模型，专注直接控制机器人 **参数规模** 380 亿参数自回归 Transformer 采用 VLM 主干 + Action Expert 分层架构 **核心能力** 多视角场景生成、具身迁移、视频生成、图像编辑 端到端机器人控制、家庭泛化任务执行 **架构** 基于 EMU3.5 初始化，统一 next-token 预测 预训练离散动作 token，后训练流匹配生成连续动作 **数据引擎** 可直接生成具身场景与视频，将 π0.5 分布外成功率从 36.9% 提升至 63.2% 本身不具备数据生成能力，依赖真实世界采集 **多视角一致性** 原生支持跨多种机器人形态的多视角场景生成与几何连贯迁移 作为单视角策略模型，不直接处理多视角合成 **视觉知识保留** 联合训练通用生成与具身任务，VLM 基准保持高分（ERQA 40.8、SEED 78.6） VLM 基准得分较低（ERQA 0.0、SEED 21.5），视觉理解受损 ## Xiaomi-Robotics-U0的应用场景 - **机器人数据合成**：为真实机器人训练生成大规模、多样化的合成操作轨迹，解决真实数据收集成本高、场景受限的问题。 - **跨形态场景迁移**：将同一操作任务从一种机器人形态（如单臂）迁移到另一种形态（如双臂），保持场景一致性。 - **仿真环境构建**：快速生成高质量多视角机器人操作场景，用于仿真平台训练和策略验证。 - **操作策略增强**：利用生成的分布外数据提升机器人策略的泛化能力，如将 π0.5 的成功率提升 26.3%。 - **具身智能研究**：作为世界基础模型，支持长程任务规划、子任务分解和交互动态预测等基础研究。 ## 常见问题解答 (FAQ) ### Xiaomi-Robotics-U0主要解决什么问题？ 它主要解决机器人具身数据难获取、场景生成不一致和迁移难控制的问题。模型把文生图、图像编辑、具身场景生成、具身迁移和具身视频生成统一起来，可为下游机器人策略提供高质量合成数据。 ### Xiaomi-Robotics-U0和普通文生图模型有什么区别？ 普通文生图模型主要生成静态图像，而 Xiaomi-Robotics-U0 还支持多视角一致的具身场景生成、结构化迁移和时序连贯的视频生成，更适合机器人训练与操控数据构建。 ### Xiaomi-Robotics-U0可以直接用于机器人控制吗？ 它本质上是统一具身合成模型，不是直接控制机器人动作的策略模型。更适合生成训练数据、增强场景覆盖和提升策略泛化能力；文中也提到其生成结果可输入下游机器人策略网络。 --- 探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)