# Xiaomi Auto World Model – 小米推出的辅助驾驶世界模型

- Link: https://paooo.com/aigc-news/18837/
- Published: 2026-06-07T18:48:14+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * WorldRec 用稀疏 3D 锚点实现 10 秒视频 10 秒重建，解决多视角冲突与鬼影问题。
 * WorldGen 通过两阶段训练和 ODE 蒸馏，将去噪压缩到 4 步，支持 0.19 秒/帧与最长 
   81 帧生成。
 * 模型已用于合成数据、闭环仿真和辅助驾驶学堂，实测在 Waymo、nuScenes 上表现领先。

## Xiaomi Auto World Model是什么

Xiaomi Auto World Model 是小米汽车推出的辅助驾驶世界模型，首次将三维重建（WorldRec）
与视频生成（WorldGen）深度耦合。WorldRec 用稀疏 3D 锚点实现 10 秒视频 10 秒快速重建，
WorldGen 通过两阶段训练与 ODE 蒸馏实现 4 步去噪、0.19 秒/帧生成，支持最长 1 分钟
视频。在 Waymo 重建精度（PSNR 28.48）与 nuScenes 生成质量（FVD 64.97）上均达 SOTA，
已落地合成数据、仿真测试、辅助驾驶学堂三大业务场景。

阅读目录

 * [Xiaomi Auto World Model是什么](https://paooo.com/aigc-news/18837/#xiaomi-auto-world-model%e6%98%af%e4%bb%80%e4%b9%88)
 * [Xiaomi Auto World Model的主要功能](https://paooo.com/aigc-news/18837/#xiaomi-auto-world-model%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Xiaomi Auto World Model的技术原理](https://paooo.com/aigc-news/18837/#xiaomi-auto-world-model%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [如何使用Xiaomi Auto World Model](https://paooo.com/aigc-news/18837/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8xiaomi-auto-world-model)
 * [Xiaomi Auto World Model的核心优势](https://paooo.com/aigc-news/18837/#xiaomi-auto-world-model%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [Xiaomi Auto World Model的项目地址](https://paooo.com/aigc-news/18837/#xiaomi-auto-world-model%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Xiaomi Auto World Model的同类竞品对比](https://paooo.com/aigc-news/18837/#xiaomi-auto-world-model%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [Xiaomi Auto World Model的应用场景](https://paooo.com/aigc-news/18837/#xiaomi-auto-world-model%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Xiaomi Auto World Model](https://paooo.com/wp-content/uploads/2026/06/Xiaomi-Auto-
World-Model-website-1.avif)

## Xiaomi Auto World Model的主要功能

 * **WorldRec 三维重建模块**：采用稀疏 3D 查询锚点替代传统稠密高斯，实现多视角多
   时刻特征聚合与可见性加权融合，10 秒视频重建仅需 10 秒，消除多视角冲突与鬼影问题。
 * **WorldGen 视频生成模块**：基于全双向时序注意力预训练+因果微调两阶段训练，通过
   ODE 蒸馏将去噪步数从 50 步压缩至 4 步，0.19 秒/帧生成未来帧、未观测视角与遮挡
   区内容，支持最长 81 帧（约 1 分钟）连续生成。
 * **重建-生成深度耦合**：重建侧提供 3D 几何先验约束生成稳定性，生成侧扩展重建边界
   至未观测时空区域，两者互相校正抑制长时序漂移。
 * **极端场景生成**：支持暴雨、大雪、浓雾等极端天气及动物闯入等长尾危险场景的高质量
   合成，为感知模型训练提供稀缺数据。
 * **三大业务落地**：合成数据生成（已交付 10 万+ clips）、闭环仿真测试（复现真实
   事故定向优化）、辅助驾驶学堂（动态生成第一人称驾驶教学视频）。

## Xiaomi Auto World Model的技术原理

 * **WorldRec 稀疏锚点表征**：摒弃逐像素预测高斯范式，改用稀疏三维查询点作为场景
   表征，每个锚点主动聚合多相机多时刻特征，通过可见性加权自动筛选可靠观测，从源头
   保证跨视角一致性。
 * **4D Gaussian 全局表示**：维护随观测增量扩展的 4D 高斯场景表示，投影到自车视角
   后作为渲染先验输入生成模型，为生成提供确定性几何约束。
 * **WorldGen 两阶段训练**：第一阶段全双向时序注意力预训练建立驾驶场景时空全局理解；
   第二阶段因果注意力微调+教师强制（Teacher Forcing），配合 ODE 蒸馏提速 12 倍，
   分布匹配蒸馏解决暴露偏差。
 * **重建-生成闭环约束**：重建的确定性几何先验持续校正生成过程，生成补全重建覆盖
   不到的时空区域，两者目标函数在结构上互相约束，实现高稳定性、高一致性、高真实性。

## 如何使用Xiaomi Auto World Model

 * **上线平台**：已上线小米全车型的「辅助驾驶学堂 – 实景模拟场景」。
 * **使用条件**：需拥有小米汽车（SU7 等车型），在车载系统中进入辅助驾驶学堂模块。

## Xiaomi Auto World Model的核心优势

 * **SOTA 性能**：Waymo 重建 PSNR 28.48（超 DGGT 约 1 个点），nuScenes 零样本泛化
   PSNR 26.54 同样领先；生成侧 FVD 64.97 超越所有双向与自回归基线模型。
 * **极速推理**：单视角生成 0.19 秒/帧，三视角 0.46 秒/帧，较同类自回归方法 Epona（
   1.06 秒/帧）快 5.6 倍。
 * **超长时序**：支持 81 帧连续生成（10Hz/30Hz，最长 1 分钟），远超公开基线模型的
   8-16 帧限制。
 * **零样本泛化**：nuScenes 零样本测试仍保持领先，证明对新场景具备强适应能力。
 * **已落地生产**：已在小米汽车合成数据、仿真测试、智能座舱三大核心场景完成业务闭
   环。

## Xiaomi Auto World Model的项目地址

 * **项目官网**：https://JointWM.github.io/
 * **arXiv技术论文**：https://arxiv.org/pdf/2605.18137

## Xiaomi Auto World Model的同类竞品对比

  |  对比维度 |  **Xiaomi Auto World Model** |  **Waymo World Model** |  
   |  **所属公司** |  小米汽车 |  Waymo（Alphabet/Google） |  
 |  **发布时间** |  2026年5月 |  2026年2月 |  
 |  **技术路线** |  **重建+生成深度耦合一体化架构**（WorldRec + WorldGen 互相约束） |  **基于 Genie 3 的生成式世界模型**（纯生成路线，后训练适配驾驶场景） |  
 |  **重建模块** |  WorldRec：稀疏 3D 锚点表征，10秒视频10秒重建，PSNR 28.48（Waymo数据集） |  无独立重建模块，依赖 Genie 3 的预训练世界知识生成全场景 |  
 |  **生成模块** |  WorldGen：4步去噪，0.19秒/帧，支持81帧（~1分钟）连续生成 |  基于 Genie 3 生成，支持多传感器输出（相机+LiDAR），可模拟极端场景 |  
 |  **架构特点** |  重建给生成”打地基”（几何约束），生成给重建”扩边界”（补全未观测区域） |  纯生成式，通过语言/动作/场景布局三种控制机制调整模拟 |  
 |  **传感器支持** |  主要面向相机数据（多视角图像输入） |  **相机 + LiDAR 多传感器输出**，可将普通行车记录仪视频转为多传感器模拟数据 |  
 |  **基准测试** |  Waymo PSNR 28.48（超DGGT约1个点）；nuScenes FVD 64.97，FID 7.04 |  未公开具体量化指标，强调可模拟”从未见过”的长尾场景 |  
 |  **生成速度** |  单视角 0.19秒/帧，三视角 0.46秒/帧 |  未公开具体推理速度，强调”可扩展推理”与高效变体 |  
 |  **最大生成时长** |  **81帧（10Hz/30Hz，最长约1分钟）** |  未明确公开，Genie 3 原生支持数分钟级别一致生成 |  
 |  **极端场景能力** |  暴雨、大雪、浓雾、动物闯入等长尾场景生成 |  龙卷风、洪水、积雪金门大桥、大象/狮子等罕见物体、 reckless driver 等 |  
 |  **业务落地** |  **已落地三大场景**：合成数据（10万+ clips）、仿真测试、辅助驾驶学堂 |  用于 Waymo Driver 训练与验证，支撑 robotaxi 扩张（2026年目标100万周订单） |

## Xiaomi Auto World Model的应用场景

 * **合成数据生成**：为辅助驾驶感知模型训练提供高质量、高多样性、高危险性的长尾场景
   合成数据，解决真实世界中稀缺场景样本不足问题。
 * **仿真测试**：构建闭环仿真环境，复现真实事故场景进行定向优化，提升测试效率与完备
   性，降低实车测试成本与风险。
 * **辅助驾驶学堂**：在智能座舱中动态生成第一人称驾驶教学视频，针对复杂路况向用户
   展示正确操作，提升人机共驾安全性与用户体验。

❓ 常见问题解答（FAQ）

Xiaomi Auto World Model 是什么？

它是小米汽车推出的辅助驾驶世界模型，核心由 WorldRec 三维重建和 WorldGen 视频生成
组成。前者负责快速重建驾驶场景，后者负责生成未来帧、未观测视角和极端场景，并已用于
合成数据、仿真测试和辅助驾驶学堂。

Xiaomi Auto World Model 的核心技术突破是什么？

核心突破是把重建与生成深度耦合：WorldRec 用稀疏 3D 锚点做快速重建，WorldGen 通过
两阶段训练和 ODE 蒸馏把去噪步数压到 4 步，同时用几何先验提升生成稳定性与一致性。

Xiaomi Auto World Model 可以怎么用？

目前已上线小米汽车的“辅助驾驶学堂 – 实景模拟场景”，需要在小米汽车车载系统中进入对应
模块使用。它主要面向辅助驾驶教学、仿真测试和合成数据生成等场景。

🔬 语宙深潜追问 · 进阶实操拆解

WorldRec和WorldGen怎么协同更稳？

建议先用重建模块建立高可信三维底座，再让生成模块在这个约束空间里补全未来帧和稀缺
场景。这样能减少幻觉和漂移，同时把仿真、合成数据和测试统一到同一套表示上。

世界模型如何落地到辅助驾驶？

最实用的路径是先服务于合成数据、corner case补齐和仿真回放，而不是直接替代感知决策。
先把模型用于训练和验证闭环，等稳定性、延迟和可解释性达标后再逐步进入在线辅助。

🗳️ 读者观点微投票 · 您的实战立场是？

辅助驾驶世界模型该先拼精度还是速度？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🌐 所属权威专题：Gemini 全模态与空间智能 →](https://paooo.com/topics/gemini-multimodal/)

 * [Xiaomi-Robotics-U0 – 小米推出的统一具身合成模型](https://paooo.com/aigc-news/30755/)
 * [小米OneVL开源：0.24秒延迟！具身智能团队发布SOTA级自动驾驶VLA世界模型](https://paooo.com/aigc-news/10571/)
 * [DriveDreamer4D – 基于世界模型增强4D驾驶场景重建效果的框架](https://paooo.com/aigc-news/26002/)
 * [自动驾驶从感知走向世界预测！百度世界大会前瞻：重磅披露自研“世界模型”研发突破，萝卜快跑28城真实路测沉淀与具身智能决策全景深度拆解](https://paooo.com/aigc-news/40474/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/18837/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
