Aether是什么
Aether 是上海AI Lab开源的生成式世界模型,完全基于合成数据训练。Aether 首次将三维时空建模与生成式建模深度融合,具备 4D 动态重建、动作条件视频预测和目标导向视觉规划三大核心能力。Aether 能感知环境、理解物体位置和运动关系,做出智能决策。Aether 在真实世界中展现出强大的零样本泛化能力,使用虚拟数据训练完成高效完成复杂任务,为具身智能系统提供强大的空间推理和决策支持。

Aether的主要功能
- 4D 动态重建:从视频中重建包含时间和空间的三维场景模型,捕捉动态变化。
- 动作条件视频预测:根据初始观察和动作轨迹预测未来场景的变化。
- 目标导向视觉规划:根据起始和目标场景生成合理路径,辅助智能系统规划行动路线。
Aether的技术原理
- 统一多任务框架:将动态重建、视频预测和动作规划三项任务融合在一个统一的框架中进行优化。基于任务交错的特征学习,实现不同任务之间的协同优化,提升模型的稳定性和鲁棒性。
- 几何感知建模:引入三维时空建模,构建几何空间提升模型的空间推理能力。用海量仿真 RGBD 数据(彩色图像和深度图),开发一套完整的数据清洗与动态重建流程,标注丰富的动作序列。
- 相机轨迹作为动作表征:选择相机轨迹作为全局动作的表示方式。在导航任务中,相机轨迹直接对应导航路径;在机器人操作中,手柄相机的运动可以捕捉末端执行器的 6D 运动。
- 扩散模型与多模态融合:基于预训练的视频扩散模型,用合成 4D 数据进行后训练。将深度视频转换为尺度不变的归一化视差表示,将相机轨迹编码为与扩散变换器(DiTs)时空框架对齐的尺度不变射线图序列表示。基于动态整合跨任务和跨模态的条件信号,Aether 实现多模态信息的融合和协同优化。
- 零样本泛化能力:完全在虚拟数据上训练,实现对真实世界的零样本泛化。基于组合不同的条件输入(如观察帧、目标帧和动作轨迹),结合扩散过程,实现对多种任务的统一建模与生成。让模型在没有真实世界数据的情况下,迁移到真实场景中表现出色。
Aether的项目地址
- 项目官网:https://aether-world.github.io/
- GitHub仓库:https://github.com/OpenRobotLab/Aether
- HuggingFace模型库:https://huggingface.co/AetherWorldModel/AetherV1
- arXiv技术论文:https://arxiv.org/pdf/2503.18945
- 在线体验Demo:https://huggingface.co/spaces/AmberHeart/AetherV1
Aether的应用场景
- 机器人导航:帮助机器人规划路径,避开动态障碍。
- 自动驾驶:实时重建道路场景,预测交通动态。
- 虚拟现实:生成沉浸式虚拟场景,增强用户体验。
- 工业机器人:优化机器人操作路径,提高生产效率。
- 智能监控:分析监控视频,预测异常行为。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
❓ 常见问题解答(FAQ)
Aether 是什么类型的模型?
Aether 是上海 AI Lab 开源的生成式世界模型,核心特点是把三维时空建模与生成式建模结合起来,支持 4D 动态重建、动作条件视频预测和目标导向视觉规划,面向具身智能与空间推理任务。
Aether 为什么强调零样本泛化?
因为它完全基于合成数据训练,不依赖真实世界数据,也能迁移到真实场景中完成任务。文章提到它通过组合观察帧、目标帧和动作轨迹等条件输入,实现对多种任务的统一建模与生成。
Aether 可以用在哪些场景?
Aether 适合机器人导航、自动驾驶、虚拟现实、工业机器人和智能监控等场景。它能帮助系统重建环境、预测动态变化,并生成合理行动路径,从而提升规划与决策能力。
🔬 语宙深潜追问 · 进阶实操拆解
世界模型怎么验证零样本泛化?
不要只看静态指标,最好在未见过的道路、光照和障碍组合上做闭环测试,观察规划成功率、碰撞率和长时稳定性。若能跨场景保持一致的空间推理与动作预测,才算真正接近零样本泛化。
4D重建与动作预测如何协同?
4D重建负责恢复时空结构,动作条件视频预测负责模拟“下一步会发生什么”,两者结合才能支持规划。工程上可先用重建建立可解释场景表征,再用预测头输出候选轨迹与风险评估。
🗳️ 读者观点微投票 · 您的实战立场是?
合成数据训练世界模型靠谱吗?
