---
title: "WorldMem – 南洋理工联合北大和上海 AI Lab 推出的世界生成模型"
url: "https://paooo.com/aigc-news/18939/"
author: "Prompt 语宙研究院"
published_at: "2026-06-08T16:12:22+08:00"
updated_at: "2026-06-07T20:03:14+08:00"
categories: "AIGC 资讯"
tags: "3D与空间智能, AI智能体, HuggingFace, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# WorldMem – 南洋理工联合北大和上海 AI Lab 推出的世界生成模型

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/18939/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-08

## AI 30 秒核心看点 (TL;DR)

- 通过记忆读写与融合机制，WorldMem 重点解决长时序世界生成中的一致性崩坏问题。
- 模型可在多场景自由探索中保持几何一致，并支持时间变化、物体交互与环境影响建模。
- 基于 Minecraft 大规模训练并在真实场景验证，适合虚拟游戏、VR/AR、自动驾驶等应用。

## WorldMem是什么

WorldMem 是南洋理工大学、北京大学和上海 AI Lab 推出的创新 AI 世界生成模型。模型基于引入记忆机制，解决传统世界生成模型在长时序下缺乏一致性的关键问题。在WorldMem中，智能体在多样化场景中自由探索，生成的世界在视角和位置变化后能保持几何一致性。WorldMem 支持时间一致性建模，模拟动态变化（如物体对环境的影响）。模型在 Minecraft 数据集上进行大规模训练，在真实场景中验证有效性。WorldMem 为构建真实、持久、交互式的虚拟世界提供新的技术路径。

## WorldMem的主要功能

- **保持一致性**：在长时间生成中，让虚拟世界保持一致。

- **模拟动态变化**：模拟时间推移带来的变化，比如物体对环境的影响（如灯光融化积雪）。

- **支持交互**：用户在虚拟世界中放置物体或进行操作，交互被记录影响后续生成。

- **多样化场景生成**：支持在多种虚拟场景（如平原、沙漠、冰原等）中自由探索。

- **适用于真实场景**：在真实世界数据集上验证生成一致性的能力。

## WorldMem的技术原理

- **条件生成模块**：基于条件扩散变换器（Conditional Diffusion Transformer）构建，结合 Diffusion Forcing 训练策略，支持自回归式长时生成。用外部动作信号（如移动、视角控制、物体放置等）引导第一人称视角的生成。

- **记忆读写模块**：记忆库存储生成过程中的关键历史信息，每个记忆单元包含图像帧及其对应的状态（如视角位姿和时间戳）。记忆检索用贪心匹配算法，基于视野重叠和时间差异计算相似度，高效筛选出与当前场景最相关的记忆单元。

- **记忆融合模块**：将当前帧与记忆帧的状态嵌入（位姿 + 时间）结合，基于注意力计算提取与当前场景最相关的记忆信息，生成融合特征引导当前帧的生成。用 Plücker 坐标表示位姿，基于 MLP 映射时间戳，引入相对嵌入机制，提升模型的空间理解和细节保持能力。

## WorldMem的项目地址

- **项目官网**：[https://xizaoqu.github.io/worldmem/](https://xizaoqu.github.io/worldmem/?utm_source=ai-bot.cn)

- **GitHub仓库**：[https://github.com/xizaoqu/WorldMem](https://github.com/xizaoqu/WorldMem)

- **arXiv技术论文**：[https://arxiv.org/pdf/2504.12369](https://arxiv.org/pdf/2504.12369)

- **在线体验Demo**：[https://huggingface.co/spaces/yslan/worldmem](https://huggingface.co/spaces/yslan/worldmem)

## WorldMem的应用场景

- **虚拟游戏**：生成长期一致的虚拟游戏世界，支持自由探索和环境交互。

- **VR/AR**：创建持久且动态变化的虚拟环境，提升沉浸感。

- **自动驾驶**：模拟真实交通场景，用在自动驾驶系统的测试。

- **建筑设计**：生成虚拟建筑环境，辅助设计方案评估。

- **教育**：创建互动教学环境，支持学生进行实验和探索。

## 常见问题解答 (FAQ)

### WorldMem 解决了什么问题？
它主要解决传统世界生成模型在长时序生成中容易出现的前后不一致问题。通过引入记忆机制，WorldMem 能在视角变化、位置移动和时间推进后，尽量保持场景几何与内容一致。

### WorldMem 的核心技术是什么？
核心包括条件生成模块、记忆读写模块和记忆融合模块。模型用条件扩散变换器与 Diffusion Forcing 支持长时生成，再通过记忆检索与融合，把历史帧的位姿、时间信息引入当前生成。

### WorldMem 可以用在哪些场景？
适合需要持久、可交互虚拟世界的任务，如虚拟游戏、VR/AR、自动驾驶仿真、建筑设计和教育实验环境。它强调长期一致性和动态变化建模，而不只是单帧画面生成。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
