# DreamGen – 英伟达推出的新型机器人学习技术

- Link: https://paooo.com/aigc-news/18725/
- Published: 2026-06-07T23:42:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于视频世界模型生成合成数据，显著降低机器人对真实采集数据的依赖。
 * 通过微调、生成、动作提取到策略训练四步流程，实现行为与环境泛化。
 * 支持Franka、SO-100等多机器人系统，可用于工业、家庭、医疗和物流场景。

## DreamGen是什么

DreamGen是英伟达推出的创新的机器人学习技术，基于AI视频世界模型生成合成数据，让机器
人能在梦境中学习新技能。DreamGen仅需少量现实视频数据，能生成大规模逼真的训练数据，
实现机器人在新环境中的行为泛化和环境泛化。DreamGen的四步流程包括微调视频世界模型、
生成虚拟数据、提取虚拟动作以及训练下游策略。DreamGen让机器人在没有真实世界数据支持
的情况下，凭文本指令完成复杂任务，显著提升学习效率和泛化能力。

阅读目录

 * [DreamGen是什么](https://paooo.com/aigc-news/18725/#dreamgen%e6%98%af%e4%bb%80%e4%b9%88)
 * [DreamGen的主要功能](https://paooo.com/aigc-news/18725/#dreamgen%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [DreamGen的技术原理](https://paooo.com/aigc-news/18725/#dreamgen%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [DreamGen的项目地址](https://paooo.com/aigc-news/18725/#dreamgen%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [DreamGen的应用场景](https://paooo.com/aigc-news/18725/#dreamgen%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![DreamGen](https://paooo.com/wp-content/uploads/2026/06/DreamGen-website-1.avif)

## DreamGen的主要功能

 * **行为泛化**：让机器人学习、执行新的行为，无需为每种新行为收集大量的真实世界数据。
 * **环境泛化**：让机器人在未见过的环境中执行任务。基于在单一环境中收集的数据，机器
   人能在多种新环境中成功执行任务。
 * **数据增强**：生成大规模的合成训练数据，提升机器人在复杂任务中的成功率。
 * **多机器人系统支持**：支持多种机器人系统（如Franka、SO-100等）和不同的策略架构（
   如Diffusion Policy、GR00T N1等），具有广泛的适用性。

## DreamGen的技术原理

 * **微调视频世界模型**：用目标机器人的遥操作轨迹数据，微调视频世界模型（如Sora、
   Veo等），捕捉机器人的运动学和动力学特征。基于低秩适应（LoRA）技术，减少模型对
   原始数据的遗忘，适应新的机器人特征。
 * **虚拟数据生成**：给定初始帧和语言指令，视频世界模型生成描述预期行为的大量机器
   人视频序列。视频不仅包含已知行为，包括新环境中的新行为。基于过滤掉不符合指令的“
   噩梦”视频，确保生成的数据质量。
 * **虚拟动作提取**：用潜在动作模型（LAPA）或逆动力学模型（IDM）解析生成的视频序列，
   提取伪动作序列，形成神经轨迹。伪动作序列用在训练下游的视觉运动策略。
 * **策略训练**：用生成的视频动作序列对（即神经轨迹）训练下游的视觉运动策略。基于
   神经轨迹，机器人在没有真实世界数据的情况下学习新任务，实现零样本泛化。

## DreamGen的项目地址

 * **项目官网**：[https://research.nvidia.com/labs/gear/dreamgen/](https://research.nvidia.com/labs/gear/dreamgen/?utm_source=ai-bot.cn)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2505.12705](https://arxiv.org/pdf/2505.12705)

## DreamGen的应用场景

 * **工业生产**：助力机器人快速掌握装配、焊接等复杂任务，提升生产效率与质量。
 * **家庭服务**：使机器人适应不同家庭环境，完成清洁、整理等多样化家务。
 * **医疗护理**：辅助医疗机器人精准操作，提高手术、康复等医疗环节的效率和安全性。
 * **物流仓储**：帮助机器人高效处理各类物品的分拣、搬运，优化物流流程。
 * **农业生产**：支持农业机器人在复杂环境里完成种植、收割等任务，提高农业产出。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**Sora ↗**

Sora是OpenAI的文本到视频模型，能生成多种类型视频，具有多种特色功能，在影视、广告
等领域有应用，介绍了其

**Sora ↗**

Sora是OpenAI的文本到视频模型，能生成多种类型视频，具有多种特色功能，在影视、广告
等领域有应用，介绍了其

❓ 常见问题解答（FAQ）

DreamGen是什么技术？

DreamGen是英伟达提出的机器人学习方法，核心是用AI视频世界模型生成合成训练数据。它
只需少量现实视频，就能帮助机器人学习新技能，并提升在新环境中的泛化能力。

DreamGen如何让机器人学会新任务？

它先用目标机器人的少量轨迹微调视频世界模型，再生成符合语言指令的虚拟视频，随后提取
伪动作序列，最后用这些神经轨迹训练下游视觉运动策略。

DreamGen适合哪些应用场景？

DreamGen适用于工业生产、家庭服务、医疗护理、物流仓储和农业生产等场景。它能帮助机器
人更快适应复杂环境，完成装配、清洁、搬运、分拣等任务。

🔬 语宙深潜追问 · 进阶实操拆解

少量真实视频如何带动泛化？

关键是用世界模型把真实视频中的动作、物体关系和环境变化抽象成可组合的生成先验，再
批量合成边界场景。这样机器人能在更少真机采样下学到迁移能力，但仍需真实数据做校准。

合成数据最容易踩什么坑？

最大问题是分布偏差：生成得越像，越可能把模型锁死在“看起来合理”的假世界里。应混入
噪声、遮挡、失败动作和长尾场景，并用真实测试集持续做回归验证。

🗳️ 读者观点微投票 · 您的实战立场是？

合成数据训练机器人，靠谱吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🌐 所属权威专题：Gemini 全模态与空间智能 →](https://paooo.com/topics/gemini-multimodal/)

 * [DeepMind Dreamer 4：仅用离线数据，《我的世界》里挖钻石！世界模型智能体实现高效安全想象训练](https://paooo.com/aigc-news/13361/)
 * [Gen2Act – 谷歌、卡内基梅隆、斯坦福联合推出生成人类视频引导机器人操作策略](https://paooo.com/aigc-news/26323/)
 * [Genie 2 – 谷歌DeepMind推出的最新一代基础世界模型](https://paooo.com/aigc-news/25077/)
 * [英伟达发布NitroGen：斯坦福联合打造开源通用游戏AI模型，泛化能力飙升52%](https://paooo.com/aigc-news/12561/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/18725/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
