Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Xiaomi Auto World Model – 小米推出的辅助驾驶世界模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Xiaomi Auto World Model – 小米推出的辅助驾驶世界模型
Prompt 语宙 > AIGC 资讯 > Xiaomi Auto World Model – 小米推出的辅助驾驶世界模型
AIGC 资讯

Xiaomi Auto World Model – 小米推出的辅助驾驶世界模型

Prompt 语宙研究院
最近更新: 2026年6月7日 下午6:48
3D与空间智能 AI视频生成 大模型微调
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • WorldRec 用稀疏 3D 锚点实现 10 秒视频 10 秒重建,解决多视角冲突与鬼影问题。
  • WorldGen 通过两阶段训练和 ODE 蒸馏,将去噪压缩到 4 步,支持 0.19 秒/帧与最长 81 帧生成。
  • 模型已用于合成数据、闭环仿真和辅助驾驶学堂,实测在 Waymo、nuScenes 上表现领先。

Xiaomi Auto World Model是什么

Xiaomi Auto World Model 是小米汽车推出的辅助驾驶世界模型,首次将三维重建(WorldRec)与视频生成(WorldGen)深度耦合。WorldRec 用稀疏 3D 锚点实现 10 秒视频 10 秒快速重建,WorldGen 通过两阶段训练与 ODE 蒸馏实现 4 步去噪、0.19 秒/帧生成,支持最长 1 分钟视频。在 Waymo 重建精度(PSNR 28.48)与 nuScenes 生成质量(FVD 64.97)上均达 SOTA,已落地合成数据、仿真测试、辅助驾驶学堂三大业务场景。

阅读目录
  • Xiaomi Auto World Model是什么
  • Xiaomi Auto World Model的主要功能
  • Xiaomi Auto World Model的技术原理
  • 如何使用Xiaomi Auto World Model
  • Xiaomi Auto World Model的核心优势
  • Xiaomi Auto World Model的项目地址
  • Xiaomi Auto World Model的同类竞品对比
  • Xiaomi Auto World Model的应用场景

Xiaomi Auto World Model

Xiaomi Auto World Model的主要功能

  • WorldRec 三维重建模块:采用稀疏 3D 查询锚点替代传统稠密高斯,实现多视角多时刻特征聚合与可见性加权融合,10 秒视频重建仅需 10 秒,消除多视角冲突与鬼影问题。
  • WorldGen 视频生成模块:基于全双向时序注意力预训练+因果微调两阶段训练,通过 ODE 蒸馏将去噪步数从 50 步压缩至 4 步,0.19 秒/帧生成未来帧、未观测视角与遮挡区内容,支持最长 81 帧(约 1 分钟)连续生成。
  • 重建-生成深度耦合:重建侧提供 3D 几何先验约束生成稳定性,生成侧扩展重建边界至未观测时空区域,两者互相校正抑制长时序漂移。
  • 极端场景生成:支持暴雨、大雪、浓雾等极端天气及动物闯入等长尾危险场景的高质量合成,为感知模型训练提供稀缺数据。
  • 三大业务落地:合成数据生成(已交付 10 万+ clips)、闭环仿真测试(复现真实事故定向优化)、辅助驾驶学堂(动态生成第一人称驾驶教学视频)。

Xiaomi Auto World Model的技术原理

  • WorldRec 稀疏锚点表征:摒弃逐像素预测高斯范式,改用稀疏三维查询点作为场景表征,每个锚点主动聚合多相机多时刻特征,通过可见性加权自动筛选可靠观测,从源头保证跨视角一致性。
  • 4D Gaussian 全局表示:维护随观测增量扩展的 4D 高斯场景表示,投影到自车视角后作为渲染先验输入生成模型,为生成提供确定性几何约束。
  • WorldGen 两阶段训练:第一阶段全双向时序注意力预训练建立驾驶场景时空全局理解;第二阶段因果注意力微调+教师强制(Teacher Forcing),配合 ODE 蒸馏提速 12 倍,分布匹配蒸馏解决暴露偏差。
  • 重建-生成闭环约束:重建的确定性几何先验持续校正生成过程,生成补全重建覆盖不到的时空区域,两者目标函数在结构上互相约束,实现高稳定性、高一致性、高真实性。

如何使用Xiaomi Auto World Model

  • 上线平台:已上线小米全车型的「辅助驾驶学堂 – 实景模拟场景」。
  • 使用条件:需拥有小米汽车(SU7 等车型),在车载系统中进入辅助驾驶学堂模块。

Xiaomi Auto World Model的核心优势

  • SOTA 性能:Waymo 重建 PSNR 28.48(超 DGGT 约 1 个点),nuScenes 零样本泛化 PSNR 26.54 同样领先;生成侧 FVD 64.97 超越所有双向与自回归基线模型。
  • 极速推理:单视角生成 0.19 秒/帧,三视角 0.46 秒/帧,较同类自回归方法 Epona(1.06 秒/帧)快 5.6 倍。
  • 超长时序:支持 81 帧连续生成(10Hz/30Hz,最长 1 分钟),远超公开基线模型的 8-16 帧限制。
  • 零样本泛化:nuScenes 零样本测试仍保持领先,证明对新场景具备强适应能力。
  • 已落地生产:已在小米汽车合成数据、仿真测试、智能座舱三大核心场景完成业务闭环。

Xiaomi Auto World Model的项目地址

  • 项目官网:https://JointWM.github.io/
  • arXiv技术论文:https://arxiv.org/pdf/2605.18137

Xiaomi Auto World Model的同类竞品对比

对比维度 Xiaomi Auto World Model Waymo World Model
所属公司 小米汽车 Waymo(Alphabet/Google)
发布时间 2026年5月 2026年2月
技术路线 重建+生成深度耦合一体化架构(WorldRec + WorldGen 互相约束) 基于 Genie 3 的生成式世界模型(纯生成路线,后训练适配驾驶场景)
重建模块 WorldRec:稀疏 3D 锚点表征,10秒视频10秒重建,PSNR 28.48(Waymo数据集) 无独立重建模块,依赖 Genie 3 的预训练世界知识生成全场景
生成模块 WorldGen:4步去噪,0.19秒/帧,支持81帧(~1分钟)连续生成 基于 Genie 3 生成,支持多传感器输出(相机+LiDAR),可模拟极端场景
架构特点 重建给生成”打地基”(几何约束),生成给重建”扩边界”(补全未观测区域) 纯生成式,通过语言/动作/场景布局三种控制机制调整模拟
传感器支持 主要面向相机数据(多视角图像输入) 相机 + LiDAR 多传感器输出,可将普通行车记录仪视频转为多传感器模拟数据
基准测试 Waymo PSNR 28.48(超DGGT约1个点);nuScenes FVD 64.97,FID 7.04 未公开具体量化指标,强调可模拟”从未见过”的长尾场景
生成速度 单视角 0.19秒/帧,三视角 0.46秒/帧 未公开具体推理速度,强调”可扩展推理”与高效变体
最大生成时长 81帧(10Hz/30Hz,最长约1分钟) 未明确公开,Genie 3 原生支持数分钟级别一致生成
极端场景能力 暴雨、大雪、浓雾、动物闯入等长尾场景生成 龙卷风、洪水、积雪金门大桥、大象/狮子等罕见物体、 reckless driver 等
业务落地 已落地三大场景:合成数据(10万+ clips)、仿真测试、辅助驾驶学堂 用于 Waymo Driver 训练与验证,支撑 robotaxi 扩张(2026年目标100万周订单)

Xiaomi Auto World Model的应用场景

  • 合成数据生成:为辅助驾驶感知模型训练提供高质量、高多样性、高危险性的长尾场景合成数据,解决真实世界中稀缺场景样本不足问题。
  • 仿真测试:构建闭环仿真环境,复现真实事故场景进行定向优化,提升测试效率与完备性,降低实车测试成本与风险。
  • 辅助驾驶学堂:在智能座舱中动态生成第一人称驾驶教学视频,针对复杂路况向用户展示正确操作,提升人机共驾安全性与用户体验。
❓ 常见问题解答(FAQ)
Xiaomi Auto World Model 是什么?

它是小米汽车推出的辅助驾驶世界模型,核心由 WorldRec 三维重建和 WorldGen 视频生成组成。前者负责快速重建驾驶场景,后者负责生成未来帧、未观测视角和极端场景,并已用于合成数据、仿真测试和辅助驾驶学堂。

Xiaomi Auto World Model 的核心技术突破是什么?

核心突破是把重建与生成深度耦合:WorldRec 用稀疏 3D 锚点做快速重建,WorldGen 通过两阶段训练和 ODE 蒸馏把去噪步数压到 4 步,同时用几何先验提升生成稳定性与一致性。

Xiaomi Auto World Model 可以怎么用?

目前已上线小米汽车的“辅助驾驶学堂 – 实景模拟场景”,需要在小米汽车车载系统中进入对应模块使用。它主要面向辅助驾驶教学、仿真测试和合成数据生成等场景。

🔬 语宙深潜追问 · 进阶实操拆解
WorldRec和WorldGen怎么协同更稳?

建议先用重建模块建立高可信三维底座,再让生成模块在这个约束空间里补全未来帧和稀缺场景。这样能减少幻觉和漂移,同时把仿真、合成数据和测试统一到同一套表示上。

世界模型如何落地到辅助驾驶?

最实用的路径是先服务于合成数据、corner case补齐和仿真回放,而不是直接替代感知决策。先把模型用于训练和验证闭环,等稳定性、延迟和可解释性达标后再逐步进入在线辅助。

🗳️ 读者观点微投票 · 您的实战立场是?
辅助驾驶世界模型该先拼精度还是速度?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🌐 所属权威专题:Gemini 全模态与空间智能 →
  • Xiaomi-Robotics-U0 – 小米推出的统一具身合成模型
  • 小米OneVL开源:0.24秒延迟!具身智能团队发布SOTA级自动驾驶VLA世界模型
  • DriveDreamer4D – 基于世界模型增强4D驾驶场景重建效果的框架
  • 自动驾驶从感知走向世界预测!百度世界大会前瞻:重磅披露自研“世界模型”研发突破,萝卜快跑28城真实路测沉淀与具身智能决策全景深度拆解
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Stagehand – AI网页浏览框架,提供简单和可扩展的网页自动化解决方案
Diffree – OpenGVLab推出的AI贴图框架
PDF to Podcast – 英伟达推出的 PDF 转音频内容 AI 工具
AtomoVideo – 阿里推出的高保真图像到视频生成框架
In-Context LoRA – 阿里通义推出的基于DiTs的图像生成框架
TAGGED:3D与空间智能AI视频生成大模型微调
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 opera-browser-cli – Opera Neon 开源的命令行工具 opera-browser-cli – Opera Neon 开源的命令行工具
下一篇 BitCPM-CANN – 面壁智能联合清华开源的端侧大模型 BitCPM-CANN – 面壁智能联合清华开源的端侧大模型
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

央视曝光豆包会员“无限薅”黑灰产:揭秘多账号倒卖、中间人截流与大模型 API 零信任防御全景架构
AIGC 资讯

央视曝光豆包会员“无限薅”黑灰产:揭秘多账号倒卖、中间人截流与大模型 API 零信任防御全景架构

Prompt 语宙研究院
API安全 数据合规 豆包 零信任网关 黑灰产治理
七项Grounding评测反超GPT-6 Astra!大晓机器人重磅开放ACE-Brain-0.6空间智能API:首创具身感知神经与150万锚定数据深度拆解
AIGC 资讯

七项Grounding评测反超GPT-6 Astra!大晓机器人重磅开放ACE-Brain-0.6空间智能API:首创具身感知神经与150万锚定数据深度拆解

Prompt 语宙研究院
ACE-Brain Grounding评测 具身智能 大晓机器人 空间智能
AgentGen – 微软联合港大推出的提高AI大模型规划能力的框架
AIGC 资讯

AgentGen – 微软联合港大推出的提高AI大模型规划能力的框架

Prompt 语宙研究院
AI智能体 AI编程 Llama OpenAI 大模型微调
TrajectoryCrafter – 腾讯和港中文推出的单目视频自由运镜技术
AIGC 资讯

TrajectoryCrafter – 腾讯和港中文推出的单目视频自由运镜技术

Prompt 语宙研究院
3D与空间智能 AI视频生成 HuggingFace 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.