# 谷歌 Deepmind 发布首个生成式交互环境模型 Genie [译]

- Link: https://paooo.com/ai-study/8634/
- Published: 2025-03-21T09:27:59+08:00
- Author: 宝玉的分享

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * Genie 是首个可从图像生成可交互 2D 世界的世界模型，且能学习动作控制。
 * 模型仅用 20 万小时以上视频训练、达到 110 亿参数，强调数据与算力驱动。
 * 除 2D 游戏外，Genie 还在 RT-1 机器人数据上展示了可学习动作的仿真器潜力。

我非常激动地分享 @Google DeepMind 开放创新团队的最新进展 🚀。我们推出了 Genie 🧞，
这是一个从互联网视频中学习而来的创新世界模型，能够根据图像提示创造出无限种可操作
的 2D 世界。

与其加入先验偏见，我们更加注重扩大规模。我们利用了一个包含超过 20 万小时的 2D 平台
游戏视频的巨大数据集，训练出了一个拥有 110 亿参数的世界模型。Genie 能够以无监督的
方式学习各种潜在动作，从而以一种连贯的方式控制角色。

我们的模型能够将任意图像转化为一个可以互动的 2D 世界。例如，Genie 能够赋予人类设计
的草图新的生命，就像来自两位史上最年轻的世界创造者 Seneca 和 Caspian 的精美艺术作品
一样。

![谷歌 Deepmind 发布首个生成式交互环境模型 Genie [译]](https://paooo.com/wp-content/
uploads/2025/03/GHP6VTXXgAAFjRf.avif)

Genie 学习到的动作空间不仅丰富多彩、一致性强，还易于理解。人们在尝试几次后，通常
能够将其与具有语义意义的动作（比如向左走、向右走、跳跃等）相对应。

必须承认，@[OpenAI](https://paooo.com/tag/openai/) 的 Sora 实在是太震撼了，其视觉
效果令人赞叹，但正如 @yanlecun 所强调的，一个世界模型必须要有“动作”才行。Genie 不仅是
一个能够控制动作的世界模型，而且它是完全通过视频学习而来的，不依赖任何监督。那我们
是怎么做到的呢？

> 关于什么是世界模型，人们有许多不同的理解。以下是我的定义：
> 考虑以下几点：
>  * 观测值 x(t)
>  * 对世界状态的先前估计 s(t)
>  * 行动建议 a(t)
>  * 潜在变量建议 z(t)
> 世界模型的计算过程如下：
>  * 表征：h(t) = 编码器 (Enc)(x(t))
>  * 预测：下一状态 s(t+1) = 预测器 (Pred)(h(t), s(t), z(t), a(t))
> 其中：
>  * 编码器 (Enc) 是一种编码功能（可训练的确定性函数，如神经网络）
>  * 预测器 (Pred) 负责预测隐藏状态（同样是可训练的确定性函数）
>  * 潜在变量 z(t) 代表能够精确预测未来发生事件的未知信息。它需要从一定的分布中采样
>    或在一定集合中变动，为一系列可能的预测设定参数。
> 关键在于，通过观察三元组 (x(t), a(t), x(t+1)) 来训练整个模型，同时避免编码器退化
> 到一个忽略输入的简单解决方案。
> 在自回归生成模型（如大语言模型 LLMs）中，情况稍微简单些，其中：
>  1. 编码器是恒等函数：h(t) = x(t)
>  2. 状态是过去输入的序列
>  3. 不包含行动变量 a(t)
>  4. x(t) 是离散的
>  5. 预测器计算下一状态 x(t+1) 的可能结果，并利用潜变量 z(t) 从中选择一个具体值。
> 这种情况下的方程简化为：
>  s(t) = [x(t), x(t-1), …, x(t-k)] x(t+1) = 预测器 (Pred)(
> s(t), z(t), a(t)) 在这种情况下，不会出现退化问题。
> — BY Yann LeCun @ylecun https://twitter.com/ylecun/status/1759933365241921817

我们开发了一种具备时间感知能力的视频分词器，它能将视频压缩成离散标记，采用一个潜在
行动模型来描述两帧之间的转换，这一转换被编码为八种潜在行动之一，以及一个 MaskGIT
动力学模型来预测未来的帧。

![谷歌 Deepmind 发布首个生成式交互环境模型 Genie [译]](https://paooo.com/wp-content/
uploads/2025/03/GHP6w6ZWQAASiw3.avif)

这里的关键还是数据和计算能力！我们训练了一个分类器，以筛选出高质量的视频子集，并
进行了规模实验，结果显示模型性能随着参数数量和批次大小的增加而稳定提升。我们最终
的模型达到了 110 亿参数量。

![谷歌 Deepmind 发布首个生成式交互环境模型 Genie [译]](https://paooo.com/wp-content/
uploads/2025/03/GHP60LTXIAEDz1Z.avif)

Genie 的模型具有广泛的通用性，不仅仅局限于二维空间。我们还对机器人数据集 (RT-1) 
进行了 Genie 训练，尽管其中不包含任何具体的动作数据，我们也成功展示了如何学习到一个
可以控制动作的仿真器。我们认为，这是向着为通用人工智能 (AGI) 构建全面世界模型迈出
的一大步。

Genie 项目是一个由 Jake Bruce、Michael Dennis、Ashley Edwards、Jack Parker-Holder、
Yuge Shi (Jimmy)、Edward Hughes、Matthew Lai、Aditi Mavalankar、Richie Steigerwald
等人共同努力的成果，是一个团队协作的典范。

特别感谢 Ashley、Jack 和 Jake 在项目中展现出的杰出领导力！如果您对 Genie 有进一步
的兴趣，欢迎查阅我们的论文和官网。详见下方链接：

 * 论文：arxiv.org/abs/2402.15391
 * 官网：sites.google.com/view/genie-2024

![谷歌 Deepmind 发布首个生成式交互环境模型 Genie [译]](https://paooo.com/wp-content/
uploads/2025/03/GHP7VqSWAAAEkSA.avif)

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**Genie ↗**

Cosine AI推出的AI编程助手。

**Twitter ↗**

Twitter（现已更名为X）是一个全球性的社交媒体和微型博客平台，其核心功能围绕信息的
即时发布、传播与互动展开

**Sora ↗**

Sora是OpenAI的文本到视频模型，能生成多种类型视频，具有多种特色功能，在影视、广告
等领域有应用，介绍了其

❓ 常见问题解答（FAQ）

Genie 和 Sora 最大区别是什么？

Genie 不只是生成视频画面，而是生成可交互、可控制动作的 2D 世界模型。文中强调它通过
视频学习动作空间，能让角色执行向左、向右、跳跃等语义动作；而 Sora 更偏向高质量视频
生成。

Genie 是怎么训练出来的？

Genie 使用超过 20 万小时的 2D 平台游戏视频进行训练，核心是从视频中学习潜在动作与
时序变化。它还结合了时间感知视频分词器、潜在行动模型和 MaskGIT 动力学模型来预测未来
帧。

Genie 对 AGI 有什么意义？

文章认为 Genie 是向通用人工智能构建全面世界模型的一步，因为它不仅能生成场景，还能
学习动作、状态与未来变化的关系。其在 2D 世界和机器人数据上的展示，说明世界模型可
扩展到更广泛的交互环境。

🔬 语宙深潜追问 · 进阶实操拆解

Genie 这类环境模型最先落地在哪？

最先适合游戏原型、交互式教学和仿真训练。它能快速把静态图像变成可操作环境，降低内容
制作成本，但要进入高精度控制和复杂物理任务，还需更强的状态一致性。

训练这类模型最关键的瓶颈是什么？

核心瓶颈是高质量交互数据、长时序一致性和可控性。仅有海量视频不够，还要解决动作可
预测、世界状态可持续更新，以及用户输入与环境反馈的稳定对齐。

🗳️ 读者观点微投票 · 您的实战立场是？

只靠视频学世界模型靠谱吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🌐 所属权威专题：Gemini 全模态与空间智能 →](https://paooo.com/topics/gemini-multimodal/)

 * [Genie 2 – 谷歌DeepMind推出的最新一代基础世界模型](https://paooo.com/aigc-news/25077/)
 * [告别静态渲染与死板NPC！Google DeepMind重磅发布新一代世界模型Genie 4：首创实时键盘操控、原生多模态音频与Gemini因果双环驱动全景深度实测](https://paooo.com/ai-tool/40581/)
 * [谷歌DeepMind发布Genie 3：可实时生成动态虚拟世界，AI世界模型迎来新突破](https://paooo.com/aigc-news/14212/)
 * [走出视频框走进虚拟世界！谷歌 DeepMind 发布 Genie 4：原生音画同步与空间永久记忆，开启交互式物理世界新纪元](https://paooo.com/ai-tool/40481/)

[🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战
分享专栏，聚焦海外一手 AI 技术动态与工程实践。

[📄 Markdown 纯净版](https://paooo.com/ai-study/8634/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
