---
title: "DreamGen – 英伟达推出的新型机器人学习技术"
url: "https://paooo.com/aigc-news/18725/"
author: "Prompt 语宙研究院"
published_at: "2026-06-07T23:42:22+08:00"
updated_at: "2026-06-07T20:02:31+08:00"
categories: "AIGC 资讯"
tags: "3D与空间智能, AI视频生成, Gemini, Sora, 大模型微调"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# DreamGen – 英伟达推出的新型机器人学习技术

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/18725/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-07

## AI 30 秒核心看点 (TL;DR)

- 基于视频世界模型生成合成数据，显著降低机器人对真实采集数据的依赖。
- 通过微调、生成、动作提取到策略训练四步流程，实现行为与环境泛化。
- 支持Franka、SO-100等多机器人系统，可用于工业、家庭、医疗和物流场景。

## DreamGen是什么

DreamGen是英伟达推出的创新的机器人学习技术，基于AI视频世界模型生成合成数据，让机器人能在梦境中学习新技能。DreamGen仅需少量现实视频数据，能生成大规模逼真的训练数据，实现机器人在新环境中的行为泛化和环境泛化。DreamGen的四步流程包括微调视频世界模型、生成虚拟数据、提取虚拟动作以及训练下游策略。DreamGen让机器人在没有真实世界数据支持的情况下，凭文本指令完成复杂任务，显著提升学习效率和泛化能力。

## DreamGen的主要功能

- **行为泛化**：让机器人学习、执行新的行为，无需为每种新行为收集大量的真实世界数据。

- **环境泛化**：让机器人在未见过的环境中执行任务。基于在单一环境中收集的数据，机器人能在多种新环境中成功执行任务。

- **数据增强**：生成大规模的合成训练数据，提升机器人在复杂任务中的成功率。

- **多机器人系统支持**：支持多种机器人系统（如Franka、SO-100等）和不同的策略架构（如Diffusion Policy、GR00T N1等），具有广泛的适用性。

## DreamGen的技术原理

- **微调视频世界模型**：用目标机器人的遥操作轨迹数据，微调视频世界模型（如Sora、Veo等），捕捉机器人的运动学和动力学特征。基于低秩适应（LoRA）技术，减少模型对原始数据的遗忘，适应新的机器人特征。

- **虚拟数据生成**：给定初始帧和语言指令，视频世界模型生成描述预期行为的大量机器人视频序列。视频不仅包含已知行为，包括新环境中的新行为。基于过滤掉不符合指令的“噩梦”视频，确保生成的数据质量。

- **虚拟动作提取**：用潜在动作模型（LAPA）或逆动力学模型（IDM）解析生成的视频序列，提取伪动作序列，形成神经轨迹。伪动作序列用在训练下游的视觉运动策略。

- **策略训练**：用生成的视频动作序列对（即神经轨迹）训练下游的视觉运动策略。基于神经轨迹，机器人在没有真实世界数据的情况下学习新任务，实现零样本泛化。

## DreamGen的项目地址

- **项目官网**：[https://research.nvidia.com/labs/gear/dreamgen/](https://research.nvidia.com/labs/gear/dreamgen/?utm_source=ai-bot.cn)

- **arXiv技术论文**：[https://arxiv.org/pdf/2505.12705](https://arxiv.org/pdf/2505.12705)

## DreamGen的应用场景

- **工业生产**：助力机器人快速掌握装配、焊接等复杂任务，提升生产效率与质量。

- **家庭服务**：使机器人适应不同家庭环境，完成清洁、整理等多样化家务。

- **医疗护理**：辅助医疗机器人精准操作，提高手术、康复等医疗环节的效率和安全性。

- **物流仓储**：帮助机器人高效处理各类物品的分拣、搬运，优化物流流程。

- **农业生产**：支持农业机器人在复杂环境里完成种植、收割等任务，提高农业产出。

## 常见问题解答 (FAQ)

### DreamGen是什么技术？
DreamGen是英伟达提出的机器人学习方法，核心是用AI视频世界模型生成合成训练数据。它只需少量现实视频，就能帮助机器人学习新技能，并提升在新环境中的泛化能力。

### DreamGen如何让机器人学会新任务？
它先用目标机器人的少量轨迹微调视频世界模型，再生成符合语言指令的虚拟视频，随后提取伪动作序列，最后用这些神经轨迹训练下游视觉运动策略。

### DreamGen适合哪些应用场景？
DreamGen适用于工业生产、家庭服务、医疗护理、物流仓储和农业生产等场景。它能帮助机器人更快适应复杂环境，完成装配、清洁、搬运、分拣等任务。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
