Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: WorldMem – 南洋理工联合北大和上海 AI Lab 推出的世界生成模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
WorldMem – 南洋理工联合北大和上海 AI Lab 推出的世界生成模型
Prompt 语宙 > AIGC 资讯 > WorldMem – 南洋理工联合北大和上海 AI Lab 推出的世界生成模型
AIGC 资讯

WorldMem – 南洋理工联合北大和上海 AI Lab 推出的世界生成模型

Prompt 语宙研究院
最近更新: 2026年6月7日 下午8:03
3D与空间智能 AI智能体 HuggingFace 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 通过记忆读写与融合机制,WorldMem 重点解决长时序世界生成中的一致性崩坏问题。
  • 模型可在多场景自由探索中保持几何一致,并支持时间变化、物体交互与环境影响建模。
  • 基于 Minecraft 大规模训练并在真实场景验证,适合虚拟游戏、VR/AR、自动驾驶等应用。

WorldMem是什么

WorldMem 是南洋理工大学、北京大学和上海 AI Lab 推出的创新 AI 世界生成模型。模型基于引入记忆机制,解决传统世界生成模型在长时序下缺乏一致性的关键问题。在WorldMem中,智能体在多样化场景中自由探索,生成的世界在视角和位置变化后能保持几何一致性。WorldMem 支持时间一致性建模,模拟动态变化(如物体对环境的影响)。模型在 Minecraft 数据集上进行大规模训练,在真实场景中验证有效性。WorldMem 为构建真实、持久、交互式的虚拟世界提供新的技术路径。

阅读目录
  • WorldMem是什么
  • WorldMem的主要功能
  • WorldMem的技术原理
  • WorldMem的项目地址
  • WorldMem的应用场景

WorldMem

WorldMem的主要功能

  • 保持一致性:在长时间生成中,让虚拟世界保持一致。
  • 模拟动态变化:模拟时间推移带来的变化,比如物体对环境的影响(如灯光融化积雪)。
  • 支持交互:用户在虚拟世界中放置物体或进行操作,交互被记录影响后续生成。
  • 多样化场景生成:支持在多种虚拟场景(如平原、沙漠、冰原等)中自由探索。
  • 适用于真实场景:在真实世界数据集上验证生成一致性的能力。

WorldMem的技术原理

  • 条件生成模块:基于条件扩散变换器(Conditional Diffusion Transformer)构建,结合 Diffusion Forcing 训练策略,支持自回归式长时生成。用外部动作信号(如移动、视角控制、物体放置等)引导第一人称视角的生成。
  • 记忆读写模块:记忆库存储生成过程中的关键历史信息,每个记忆单元包含图像帧及其对应的状态(如视角位姿和时间戳)。记忆检索用贪心匹配算法,基于视野重叠和时间差异计算相似度,高效筛选出与当前场景最相关的记忆单元。
  • 记忆融合模块:将当前帧与记忆帧的状态嵌入(位姿 + 时间)结合,基于注意力计算提取与当前场景最相关的记忆信息,生成融合特征引导当前帧的生成。用 Plücker 坐标表示位姿,基于 MLP 映射时间戳,引入相对嵌入机制,提升模型的空间理解和细节保持能力。

WorldMem的项目地址

  • 项目官网:https://xizaoqu.github.io/worldmem/
  • GitHub仓库:https://github.com/xizaoqu/WorldMem
  • arXiv技术论文:https://arxiv.org/pdf/2504.12369
  • 在线体验Demo:https://huggingface.co/spaces/yslan/worldmem

WorldMem的应用场景

  • 虚拟游戏:生成长期一致的虚拟游戏世界,支持自由探索和环境交互。
  • VR/AR:创建持久且动态变化的虚拟环境,提升沉浸感。
  • 自动驾驶:模拟真实交通场景,用在自动驾驶系统的测试。
  • 建筑设计:生成虚拟建筑环境,辅助设计方案评估。
  • 教育:创建互动教学环境,支持学生进行实验和探索。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
WorldMem 解决了什么问题?

它主要解决传统世界生成模型在长时序生成中容易出现的前后不一致问题。通过引入记忆机制,WorldMem 能在视角变化、位置移动和时间推进后,尽量保持场景几何与内容一致。

WorldMem 的核心技术是什么?

核心包括条件生成模块、记忆读写模块和记忆融合模块。模型用条件扩散变换器与 Diffusion Forcing 支持长时生成,再通过记忆检索与融合,把历史帧的位姿、时间信息引入当前生成。

WorldMem 可以用在哪些场景?

适合需要持久、可交互虚拟世界的任务,如虚拟游戏、VR/AR、自动驾驶仿真、建筑设计和教育实验环境。它强调长期一致性和动态变化建模,而不只是单帧画面生成。

🔬 语宙深潜追问 · 进阶实操拆解
记忆机制如何提升长时序一致性?

它会把过去状态压缩成可检索的上下文,在生成下一步时显式回看历史,而不是只靠当前帧预测。这样能减少物体漂移、场景突变和交互断裂,但记忆写入与读取策略必须精心设计。

世界模型离真实应用还差什么?

还差稳定的物理一致性、可控交互和跨场景泛化。Minecraft 这类环境能验证方法,但要进游戏、仿真或机器人场景,还需要更强的数据覆盖、长期规划能力和对失败状态的恢复机制。

🗳️ 读者观点微投票 · 您的实战立场是?
世界模型靠记忆机制就能破局吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • LiveWorld – 阿德莱德大学等推出的生成式视频世界模型
  • 谷歌 Deepmind 发布首个生成式交互环境模型 Genie [译]
  • 高德地图x北邮发布FantasyWorld:统一视频与3D建模框架,赋能AR/VR与机器人导航新纪元
  • 阿里达摩院重磅发布WorldVLA:统一视觉-语言-动作模型,让机器人“既会看又会动”
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
VideoAnydoor – 港大联合阿里达摩院等机构推出的零样本视频对象插入框架
SPAR3D – Stability AI等机构推出的单试图重建 3D 网络模型
Tinker API:简化大模型微调与强化学习的革命性托管平台|Thinking Machines Lab重磅发布
yuxinlu1 Gemma4-12B – 开源的编程与 Agentic 模型系列
MM-Eureka – 上海AI Lab联合上交大等推出的多模态推理模型
TAGGED:3D与空间智能AI智能体HuggingFace开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 GLM-Z1-Rumination – 智谱推出的沉思模型 GLM-Z1-Rumination – 智谱推出的沉思模型
下一篇 Kimi-Audio – Moonshot AI 开源的音频基础模型 Kimi-Audio – Moonshot AI 开源的音频基础模型
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

HelloBench – 评估LLMs长文本生成能力的开源基准测试工具
AIGC 资讯

HelloBench – 评估LLMs长文本生成能力的开源基准测试工具

Prompt 语宙研究院
AI办公效率 AI智能体 HuggingFace 开源大模型
Anthropic 最强模型 Mythos 即将解禁:AI 网络安全攻防战进入纳秒级“深水区”
AIGC 资讯最新趋势

Anthropic 最强模型 Mythos 即将解禁:AI 网络安全攻防战进入纳秒级“深水区”

Prompt 语宙研究院
AI安全 Anthropic Claude Mythos 网络安全 零日漏洞
腾讯发布首个智能体行业应用LearnBuddy,打造专家同行的AI自主学习平台
AIGC 资讯

腾讯发布首个智能体行业应用LearnBuddy,打造专家同行的AI自主学习平台

Prompt 语宙研究院
AI办公效率 AI智能体 Kimi WorkBuddy
Nanbeige4.2-3B – 南北阁实验室推出的通用 Agent 小模型
AIGC 资讯

Nanbeige4.2-3B – 南北阁实验室推出的通用 Agent 小模型

Prompt 语宙研究院
AI智能体 Llama 可灵AI 大模型微调 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.