Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 谷歌 Deepmind 发布首个生成式交互环境模型 Genie [译]
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
谷歌 Deepmind 发布首个生成式交互环境模型 Genie [译]
Prompt 语宙 > 强化 AI 学习 > 谷歌 Deepmind 发布首个生成式交互环境模型 Genie [译]
强化 AI 学习

谷歌 Deepmind 发布首个生成式交互环境模型 Genie [译]

宝玉的分享
最近更新: 2026年5月23日 下午6:23
3D与空间智能 AI视频生成 Gemini OpenAI Sora
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • Genie 是首个可从图像生成可交互 2D 世界的世界模型,且能学习动作控制。
  • 模型仅用 20 万小时以上视频训练、达到 110 亿参数,强调数据与算力驱动。
  • 除 2D 游戏外,Genie 还在 RT-1 机器人数据上展示了可学习动作的仿真器潜力。

我非常激动地分享 @Google DeepMind 开放创新团队的最新进展 🚀。我们推出了 Genie 🧞,这是一个从互联网视频中学习而来的创新世界模型,能够根据图像提示创造出无限种可操作的 2D 世界。

与其加入先验偏见,我们更加注重扩大规模。我们利用了一个包含超过 20 万小时的 2D 平台游戏视频的巨大数据集,训练出了一个拥有 110 亿参数的世界模型。Genie 能够以无监督的方式学习各种潜在动作,从而以一种连贯的方式控制角色。

我们的模型能够将任意图像转化为一个可以互动的 2D 世界。例如,Genie 能够赋予人类设计的草图新的生命,就像来自两位史上最年轻的世界创造者 Seneca 和 Caspian 的精美艺术作品一样。

谷歌 Deepmind 发布首个生成式交互环境模型 Genie [译]

Genie 学习到的动作空间不仅丰富多彩、一致性强,还易于理解。人们在尝试几次后,通常能够将其与具有语义意义的动作(比如向左走、向右走、跳跃等)相对应。

必须承认,@OpenAI 的 Sora 实在是太震撼了,其视觉效果令人赞叹,但正如 @yanlecun 所强调的,一个世界模型必须要有“动作”才行。Genie 不仅是一个能够控制动作的世界模型,而且它是完全通过视频学习而来的,不依赖任何监督。那我们是怎么做到的呢?

关于什么是世界模型,人们有许多不同的理解。以下是我的定义:

考虑以下几点:

  • 观测值 x(t)
  • 对世界状态的先前估计 s(t)
  • 行动建议 a(t)
  • 潜在变量建议 z(t)

世界模型的计算过程如下:

  • 表征:h(t) = 编码器 (Enc)(x(t))
  • 预测:下一状态 s(t+1) = 预测器 (Pred)(h(t), s(t), z(t), a(t))

其中:

  • 编码器 (Enc) 是一种编码功能(可训练的确定性函数,如神经网络)
  • 预测器 (Pred) 负责预测隐藏状态(同样是可训练的确定性函数)
  • 潜在变量 z(t) 代表能够精确预测未来发生事件的未知信息。它需要从一定的分布中采样或在一定集合中变动,为一系列可能的预测设定参数。

关键在于,通过观察三元组 (x(t), a(t), x(t+1)) 来训练整个模型,同时避免编码器退化到一个忽略输入的简单解决方案。

在自回归生成模型(如大语言模型 LLMs)中,情况稍微简单些,其中:

  1. 编码器是恒等函数:h(t) = x(t)
  2. 状态是过去输入的序列
  3. 不包含行动变量 a(t)
  4. x(t) 是离散的
  5. 预测器计算下一状态 x(t+1) 的可能结果,并利用潜变量 z(t) 从中选择一个具体值。

这种情况下的方程简化为:
s(t) = [x(t), x(t-1), …, x(t-k)]
x(t+1) = 预测器 (Pred)(s(t), z(t), a(t))
在这种情况下,不会出现退化问题。

— BY Yann LeCun @ylecun https://twitter.com/ylecun/status/1759933365241921817

我们开发了一种具备时间感知能力的视频分词器,它能将视频压缩成离散标记,采用一个潜在行动模型来描述两帧之间的转换,这一转换被编码为八种潜在行动之一,以及一个 MaskGIT 动力学模型来预测未来的帧。

谷歌 Deepmind 发布首个生成式交互环境模型 Genie [译]

这里的关键还是数据和计算能力!我们训练了一个分类器,以筛选出高质量的视频子集,并进行了规模实验,结果显示模型性能随着参数数量和批次大小的增加而稳定提升。我们最终的模型达到了 110 亿参数量。

谷歌 Deepmind 发布首个生成式交互环境模型 Genie [译]

Genie 的模型具有广泛的通用性,不仅仅局限于二维空间。我们还对机器人数据集 (RT-1) 进行了 Genie 训练,尽管其中不包含任何具体的动作数据,我们也成功展示了如何学习到一个可以控制动作的仿真器。我们认为,这是向着为通用人工智能 (AGI) 构建全面世界模型迈出的一大步。

Genie 项目是一个由 Jake Bruce、Michael Dennis、Ashley Edwards、Jack Parker-Holder、Yuge Shi (Jimmy)、Edward Hughes、Matthew Lai、Aditi Mavalankar、Richie Steigerwald 等人共同努力的成果,是一个团队协作的典范。

特别感谢 Ashley、Jack 和 Jake 在项目中展现出的杰出领导力!如果您对 Genie 有进一步的兴趣,欢迎查阅我们的论文和官网。详见下方链接:

  • 论文:arxiv.org/abs/2402.15391
  • 官网:sites.google.com/view/genie-2024

谷歌 Deepmind 发布首个生成式交互环境模型 Genie [译]

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
Genie ↗
Cosine AI推出的AI编程助手。
Twitter ↗
Twitter(现已更名为X)是一个全球性的社交媒体和微型博客平台,其核心功能围绕信息的即时发布、传播与互动展开
Sora ↗
Sora是OpenAI的文本到视频模型,能生成多种类型视频,具有多种特色功能,在影视、广告等领域有应用,介绍了其
❓ 常见问题解答(FAQ)
Genie 和 Sora 最大区别是什么?

Genie 不只是生成视频画面,而是生成可交互、可控制动作的 2D 世界模型。文中强调它通过视频学习动作空间,能让角色执行向左、向右、跳跃等语义动作;而 Sora 更偏向高质量视频生成。

Genie 是怎么训练出来的?

Genie 使用超过 20 万小时的 2D 平台游戏视频进行训练,核心是从视频中学习潜在动作与时序变化。它还结合了时间感知视频分词器、潜在行动模型和 MaskGIT 动力学模型来预测未来帧。

Genie 对 AGI 有什么意义?

文章认为 Genie 是向通用人工智能构建全面世界模型的一步,因为它不仅能生成场景,还能学习动作、状态与未来变化的关系。其在 2D 世界和机器人数据上的展示,说明世界模型可扩展到更广泛的交互环境。

🔬 语宙深潜追问 · 进阶实操拆解
Genie 这类环境模型最先落地在哪?

最先适合游戏原型、交互式教学和仿真训练。它能快速把静态图像变成可操作环境,降低内容制作成本,但要进入高精度控制和复杂物理任务,还需更强的状态一致性。

训练这类模型最关键的瓶颈是什么?

核心瓶颈是高质量交互数据、长时序一致性和可控性。仅有海量视频不够,还要解决动作可预测、世界状态可持续更新,以及用户输入与环境反馈的稳定对齐。

🗳️ 读者观点微投票 · 您的实战立场是?
只靠视频学世界模型靠谱吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🌐 所属权威专题:Gemini 全模态与空间智能 →
  • Genie 2 – 谷歌DeepMind推出的最新一代基础世界模型
  • 告别静态渲染与死板NPC!Google DeepMind重磅发布新一代世界模型Genie 4:首创实时键盘操控、原生多模态音频与Gemini因果双环驱动全景深度实测
  • 谷歌DeepMind发布Genie 3:可实时生成动态虚拟世界,AI世界模型迎来新突破
  • 走出视频框走进虚拟世界!谷歌 DeepMind 发布 Genie 4:原生音画同步与空间永久记忆,开启交互式物理世界新纪元
🏛️ 宝玉的分享 · 前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
DeepCoder-14B-Preview – Agentica 联合 Together AI 开源的代码生成模型
Anthropic吞下94%旗舰份额而OpenAI凭降价90%夺走81%低端市场!Databricks万家企业遥测揭秘:大模型商业定价撕裂与开源占比停滞31%深层博弈
什么是 GPT?通过图形化的方式来理解 Transformer 中的注意力机制 [译]
EdgeBench – 字节跳动推出的 AI 学习能力基准测试框架
苹果新推出的设备内及云端服务器基础模型介绍 [译]
TAGGED:3D与空间智能AI视频生成GeminiOpenAISora
分享
Email 复制链接 打印
Share
宝玉的分享 头像
By宝玉的分享
Follow:
前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
上一篇 微软为 iPhone 举行的葬礼 Gemini 与 Google 的文化观 [译]
下一篇 为什么随着年龄增长,我们感觉时间似乎流逝得更快 [译] 为什么随着年龄增长,我们感觉时间似乎流逝得更快 [译]
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

Anthropic Claude共享聊天功能曝隐私风险,大量对话被谷歌收录
AIGC 资讯

Anthropic Claude共享聊天功能曝隐私风险,大量对话被谷歌收录

Prompt 语宙研究院
AI办公效率 Anthropic ChatGPT Claude OpenAI
Chat2SVG – 文本描述实现高质量矢量图形的生成框架
AIGC 资讯

Chat2SVG – 文本描述实现高质量矢量图形的生成框架

Prompt 语宙研究院
AI办公效率 AI绘画提示词 OpenAI stable diffusion 开源大模型
我们得聊聊 Rabbit R1 这款设备... [译]
强化 AI 学习

我们得聊聊 Rabbit R1 这款设备… [译]

宝玉的分享
AI办公效率 AI智能体 大模型微调 开源大模型
[AI生图咒语] 精致动漫女角色折纸雕塑摄影
AI 生图 Prompt游戏资产与 3D

[AI生图咒语] 精致动漫女角色折纸雕塑摄影

Prompt 语宙研究院
AI绘画提示词 ChatGPT Midjourney OpenAI
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.