---
title: "谷歌 Deepmind 发布首个生成式交互环境模型 Genie [译]"
url: "https://paooo.com/ai-study/8634/"
author: "宝玉的分享"
published_at: "2025-03-21T09:27:59+08:00"
updated_at: "2026-05-23T18:23:24+08:00"
categories: "强化 AI 学习"
tags: "3D与空间智能, AI视频生成, Gemini, OpenAI, Sora"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# 谷歌 Deepmind 发布首个生成式交互环境模型 Genie [译]

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/ai-study/8634/) · 作者：宝玉的分享 · 发布时间：2025-03-21

## AI 30 秒核心看点 (TL;DR)

- Genie 是首个可从图像生成可交互 2D 世界的世界模型，且能学习动作控制。
- 模型仅用 20 万小时以上视频训练、达到 110 亿参数，强调数据与算力驱动。
- 除 2D 游戏外，Genie 还在 RT-1 机器人数据上展示了可学习动作的仿真器潜力。

我非常激动地分享 @Google DeepMind 开放创新团队的最新进展 🚀。我们推出了 Genie 🧞，这是一个从互联网视频中学习而来的创新世界模型，能够根据图像提示创造出无限种可操作的 2D 世界。

与其加入先验偏见，我们更加注重扩大规模。我们利用了一个包含超过 20 万小时的 2D 平台游戏视频的巨大数据集，训练出了一个拥有 110 亿参数的世界模型。Genie 能够以无监督的方式学习各种潜在动作，从而以一种连贯的方式控制角色。

我们的模型能够将任意图像转化为一个可以互动的 2D 世界。例如，Genie 能够赋予人类设计的草图新的生命，就像来自两位史上最年轻的世界创造者 Seneca 和 Caspian 的精美艺术作品一样。


	
	

Genie 学习到的动作空间不仅丰富多彩、一致性强，还易于理解。人们在尝试几次后，通常能够将其与具有语义意义的动作（比如向左走、向右走、跳跃等）相对应。

必须承认，@OpenAI 的 Sora 实在是太震撼了，其视觉效果令人赞叹，但正如 @yanlecun 所强调的，一个世界模型必须要有“动作”才行。Genie 不仅是一个能够控制动作的世界模型，而且它是完全通过视频学习而来的，不依赖任何监督。那我们是怎么做到的呢？

> 
关于什么是世界模型，人们有许多不同的理解。以下是我的定义：

考虑以下几点：

- 观测值 x(t)

- 对世界状态的先前估计 s(t)

- 行动建议 a(t)

- 潜在变量建议 z(t)

世界模型的计算过程如下：

- 表征：h(t) = 编码器 (Enc)(x(t))

- 预测：下一状态 s(t+1) = 预测器 (Pred)(h(t), s(t), z(t), a(t))

其中：

- 编码器 (Enc) 是一种编码功能（可训练的确定性函数，如神经网络）

- 预测器 (Pred) 负责预测隐藏状态（同样是可训练的确定性函数）

- 潜在变量 z(t) 代表能够精确预测未来发生事件的未知信息。它需要从一定的分布中采样或在一定集合中变动，为一系列可能的预测设定参数。

关键在于，通过观察三元组 (x(t), a(t), x(t+1)) 来训练整个模型，同时避免编码器退化到一个忽略输入的简单解决方案。

在自回归生成模型（如大语言模型 LLMs）中，情况稍微简单些，其中：

- 编码器是恒等函数：h(t) = x(t)

- 状态是过去输入的序列

- 不包含行动变量 a(t)

- x(t) 是离散的

- 预测器计算下一状态 x(t+1) 的可能结果，并利用潜变量 z(t) 从中选择一个具体值。

这种情况下的方程简化为：

s(t) = [x(t), x(t-1), ..., x(t-k)]

x(t+1) = 预测器 (Pred)(s(t), z(t), a(t))

在这种情况下，不会出现退化问题。

-- BY Yann LeCun @ylecun  https://twitter.com/ylecun/status/1759933365241921817

我们开发了一种具备时间感知能力的视频分词器，它能将视频压缩成离散标记，采用一个潜在行动模型来描述两帧之间的转换，这一转换被编码为八种潜在行动之一，以及一个 MaskGIT 动力学模型来预测未来的帧。


	
	

这里的关键还是数据和计算能力！我们训练了一个分类器，以筛选出高质量的视频子集，并进行了规模实验，结果显示模型性能随着参数数量和批次大小的增加而稳定提升。我们最终的模型达到了 110 亿参数量。


	
	

Genie 的模型具有广泛的通用性，不仅仅局限于二维空间。我们还对机器人数据集 (RT-1) 进行了 Genie 训练，尽管其中不包含任何具体的动作数据，我们也成功展示了如何学习到一个可以控制动作的仿真器。我们认为，这是向着为通用人工智能 (AGI) 构建全面世界模型迈出的一大步。

Genie 项目是一个由 Jake Bruce、Michael Dennis、Ashley Edwards、Jack Parker-Holder、Yuge Shi (Jimmy)、Edward Hughes、Matthew Lai、Aditi Mavalankar、Richie Steigerwald 等人共同努力的成果，是一个团队协作的典范。

特别感谢 Ashley、Jack 和 Jake 在项目中展现出的杰出领导力！如果您对 Genie 有进一步的兴趣，欢迎查阅我们的论文和官网。详见下方链接：

- 论文：arxiv.org/abs/2402.15391

- 官网：sites.google.com/view/genie-2024

## 常见问题解答 (FAQ)

### Genie 和 Sora 最大区别是什么？
Genie 不只是生成视频画面，而是生成可交互、可控制动作的 2D 世界模型。文中强调它通过视频学习动作空间，能让角色执行向左、向右、跳跃等语义动作；而 Sora 更偏向高质量视频生成。

### Genie 是怎么训练出来的？
Genie 使用超过 20 万小时的 2D 平台游戏视频进行训练，核心是从视频中学习潜在动作与时序变化。它还结合了时间感知视频分词器、潜在行动模型和 MaskGIT 动力学模型来预测未来帧。

### Genie 对 AGI 有什么意义？
文章认为 Genie 是向通用人工智能构建全面世界模型的一步，因为它不仅能生成场景，还能学习动作、状态与未来变化的关系。其在 2D 世界和机器人数据上的展示，说明世界模型可扩展到更广泛的交互环境。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
