# WorldMem – 南洋理工联合北大和上海 AI Lab 推出的世界生成模型

- Link: https://paooo.com/aigc-news/18939/
- Published: 2026-06-08T16:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 通过记忆读写与融合机制，WorldMem 重点解决长时序世界生成中的一致性崩坏问题。
 * 模型可在多场景自由探索中保持几何一致，并支持时间变化、物体交互与环境影响建模。
 * 基于 Minecraft 大规模训练并在真实场景验证，适合虚拟游戏、VR/AR、自动驾驶等应用。

## WorldMem是什么

WorldMem 是南洋理工大学、北京大学和上海 AI Lab 推出的创新 AI 世界生成模型。模型基于
引入记忆机制，解决传统世界生成模型在长时序下缺乏一致性的关键问题。在WorldMem中，
[智能体](https://paooo.com/trends/)在多样化场景中自由探索，生成的世界在视角和位置
变化后能保持几何一致性。WorldMem 支持时间一致性建模，模拟动态变化（如物体对环境的
影响）。模型在 Minecraft 数据集上进行大规模训练，在真实场景中验证有效性。WorldMem
为构建真实、持久、交互式的虚拟世界提供新的技术路径。

阅读目录

 * [WorldMem是什么](https://paooo.com/aigc-news/18939/#worldmem%e6%98%af%e4%bb%80%e4%b9%88)
 * [WorldMem的主要功能](https://paooo.com/aigc-news/18939/#worldmem%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [WorldMem的技术原理](https://paooo.com/aigc-news/18939/#worldmem%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [WorldMem的项目地址](https://paooo.com/aigc-news/18939/#worldmem%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [WorldMem的应用场景](https://paooo.com/aigc-news/18939/#worldmem%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![WorldMem](https://paooo.com/wp-content/uploads/2026/06/WorldMem-website-1.avif)

## WorldMem的主要功能

 * **保持一致性**：在长时间生成中，让虚拟世界保持一致。
 * **模拟动态变化**：模拟时间推移带来的变化，比如物体对环境的影响（如灯光融化积雪）。
 * **支持交互**：用户在虚拟世界中放置物体或进行操作，交互被记录影响后续生成。
 * **多样化场景生成**：支持在多种虚拟场景（如平原、沙漠、冰原等）中自由探索。
 * **适用于真实场景**：在真实世界数据集上验证生成一致性的能力。

## WorldMem的技术原理

 * **条件生成模块**：基于条件扩散变换器（Conditional Diffusion Transformer）构建，
   结合 Diffusion Forcing 训练策略，支持自回归式长时生成。用外部动作信号（如移动、
   视角控制、物体放置等）引导第一人称视角的生成。
 * **记忆读写模块**：记忆库存储生成过程中的关键历史信息，每个记忆单元包含图像帧及其
   对应的状态（如视角位姿和时间戳）。记忆检索用贪心匹配算法，基于视野重叠和时间差异
   计算相似度，高效筛选出与当前场景最相关的记忆单元。
 * **记忆融合模块**：将当前帧与记忆帧的状态嵌入（位姿 + 时间）结合，基于注意力计算
   提取与当前场景最相关的记忆信息，生成融合特征引导当前帧的生成。用 Plücker 坐标
   表示位姿，基于 MLP 映射时间戳，引入相对嵌入机制，提升模型的空间理解和细节保持
   能力。

## WorldMem的项目地址

 * **项目官网**：[https://xizaoqu.github.io/worldmem/](https://xizaoqu.github.io/worldmem/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/xizaoqu/WorldMem](https://github.com/xizaoqu/WorldMem)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2504.12369](https://arxiv.org/pdf/2504.12369)
 * **在线体验Demo**：[https://huggingface.co/spaces/yslan/worldmem](https://huggingface.co/spaces/yslan/worldmem)

## WorldMem的应用场景

 * **虚拟游戏**：生成长期一致的虚拟游戏世界，支持自由探索和环境交互。
 * **VR/AR**：创建持久且动态变化的虚拟环境，提升沉浸感。
 * **自动驾驶**：模拟真实交通场景，用在自动驾驶系统的测试。
 * **建筑设计**：生成虚拟建筑环境，辅助设计方案评估。
 * **教育**：创建互动教学环境，支持学生进行实验和探索。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

WorldMem 解决了什么问题？

它主要解决传统世界生成模型在长时序生成中容易出现的前后不一致问题。通过引入记忆机制，
WorldMem 能在视角变化、位置移动和时间推进后，尽量保持场景几何与内容一致。

WorldMem 的核心技术是什么？

核心包括条件生成模块、记忆读写模块和记忆融合模块。模型用条件扩散变换器与 Diffusion
Forcing 支持长时生成，再通过记忆检索与融合，把历史帧的位姿、时间信息引入当前生成。

WorldMem 可以用在哪些场景？

适合需要持久、可交互虚拟世界的任务，如虚拟游戏、VR/AR、自动驾驶仿真、建筑设计和教育
实验环境。它强调长期一致性和动态变化建模，而不只是单帧画面生成。

🔬 语宙深潜追问 · 进阶实操拆解

记忆机制如何提升长时序一致性？

它会把过去状态压缩成可检索的上下文，在生成下一步时显式回看历史，而不是只靠当前帧
预测。这样能减少物体漂移、场景突变和交互断裂，但记忆写入与读取策略必须精心设计。

世界模型离真实应用还差什么？

还差稳定的物理一致性、可控交互和跨场景泛化。Minecraft 这类环境能验证方法，但要进
游戏、仿真或机器人场景，还需要更强的数据覆盖、长期规划能力和对失败状态的恢复机制。

🗳️ 读者观点微投票 · 您的实战立场是？

世界模型靠记忆机制就能破局吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [LiveWorld – 阿德莱德大学等推出的生成式视频世界模型](https://paooo.com/aigc-news/24097/)
 * [谷歌 Deepmind 发布首个生成式交互环境模型 Genie [译]](https://paooo.com/ai-study/8634/)
 * [高德地图x北邮发布FantasyWorld：统一视频与3D建模框架，赋能AR/VR与机器人导航新纪元](https://paooo.com/aigc-news/12341/)
 * [阿里达摩院重磅发布WorldVLA：统一视觉-语言-动作模型，让机器人“既会看又会动”](https://paooo.com/aigc-news/14644/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/18939/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
