# Matrix -Game3.5 – 昆仑万维开源的实时流式交互世界模型

- Link: https://paooo.com/aigc-news/34777/
- Published: 2026-07-21T13:01:59+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * Patch Memory + Warped RoPE 让模型具备三维空间级长期记忆，解决场景漂移与物体重现
   问题。
 * 单卡可实现720P/20FPS实时流式生成，并支持键鼠操控、分钟级连续探索。
 * 核心架构开源，面向游戏、机器人训练和自动驾驶仿真等通用物理世界模拟场景。

## Matrix -Game3.5是什么

Matrix-Game 3.5 是昆仑万维黎曼动力团队开源的实时流式交互世界模型，基于 Patch Memory
与 Warped PRoPE 实现三维空间级长期记忆与几何一致性建模。模型支持 720P/20FPS 单卡
实时生成，具备分钟级场景回溯能力，可响应键盘鼠标实时操控。从游戏引擎走向通用物理
世界模拟，为机器人训练、自动驾驶仿真与具身智能提供开源基础设施。

阅读目录

 * [Matrix -Game3.5是什么](https://paooo.com/aigc-news/34777/#matrix-game35%e6%98%af%e4%bb%80%e4%b9%88)
 * [Matrix -Game3.5的主要功能](https://paooo.com/aigc-news/34777/#matrix-game35%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Matrix -Game3.5的技术原理](https://paooo.com/aigc-news/34777/#matrix-game35%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [如何使用Matrix -Game3.5](https://paooo.com/aigc-news/34777/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8matrix-game35)
 * [Matrix -Game3.5的核心优势](https://paooo.com/aigc-news/34777/#matrix-game35%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [Matrix -Game3.5的项目地址](https://paooo.com/aigc-news/34777/#matrix-game35%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Matrix -Game3.5的同类竞品对比](https://paooo.com/aigc-news/34777/#matrix-game35%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [Matrix -Game3.5的应用场景](https://paooo.com/aigc-news/34777/#matrix-game35%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Matrix -Game3.5](https://paooo.com/wp-content/uploads/2026/07/Matrix-Game3.5-website-
1.avif)

## Matrix -Game3.5的主要功能

 * **Patch Memory 长期记忆**：将历史画面切分为三维空间坐标下的图像块（Patch），按
   空间位置检索重组，解决物体重现与场景漂移问题，物体重现得分突破此前行业 0.6 的
   上限。
 * **PRoPE + Warped RoPE 几何编码**：将相机投影矩阵编码融入 Transformer 时空位置
   表示，使模型感知相机旋转、平移与投影关系，实现精准视角控制与几何一致性。
 * **动静解耦记忆**：静态场景由 Patch Memory 维护，动态主体通过轻量级 Reference 
   Token 保持身份一致性，避免移动物体污染记忆导致重影。
 * **实时流式生成**：通过蒸馏将采样步数压缩至 3 步，结合分块因果推理、KV Cache、
   INT8 量化与 VAE 结构化剪枝，实现单卡 GPU 720P/20FPS 实时生成。
 * **自动化数据管线**：构建 Unreal-Gen（虚幻引擎）、AAA 游戏管线与互联网视频管线
   三类数据系统，产出 500 万+高质量视频切片、1 万+小时训练数据，覆盖 1200+游戏场景。
 * **NPC 交互与开放世界泛化**：支持文本驱动的世界生成、角色动作控制与多[智能体](https://paooo.com/trends/)
   协同。

## Matrix -Game3.5的技术原理

 * **统一几何感知记忆框架**：PRoPE 将相机位姿编码为相对位置码，不引入额外可学习参数；
   Warped RoPE 重新计算历史 Patch 在当前视角下的时空坐标，实现记忆复用时的坐标对
   齐。
 * **渐进式蒸馏**：分两阶段将双向 DiT 蒸馏为因果生成器——用 Perceptual Flow Matching
   获得高质量少步因果初始化，通过 Self-Rollout DMD（分布匹配蒸馏）在自回归轨迹上
   训练，配合条件课程逐步蒸馏无分类器引导、相机控制与记忆条件生成。
 * **轻量化可插拔架构**：核心交互功能（PRoPE、Patch Memory、动静解耦）均不新增参数，
   用模块化插件形式适配不同视频基础模型。

![挖挖GitHub](https://paooo.com/wp-content/uploads/2026/07/wawagithub-85.avif)

微信关注回复“开源”，加入**AI开源项目交流群**

## 如何使用Matrix -Game3.5

 * **下载模型**：通过 GitHub（https://github.com/Riemann-Dynamics/Matrix-Game-3.5）
   或 HuggingFace 获取权重与推理代码。
 * **部署环境**：准备单张支持 CUDA 的 GPU，安装依赖后加载模型。
 * **输入控制**：通过键盘 WASD 移动、鼠标控制视角，或输入文本提示/相机轨迹生成交互
   世界。
 * **实时交互**：模型用 20FPS 流式输出后续帧，支持分钟级连续探索而不丢失场景一致性。

## Matrix -Game3.5的核心优势

 * **长时序一致性**：首次在开源方案中系统性解决世界模型分钟级记忆瓶颈，镜头往返重
   访时场景元素保持完全一致。
 * **实时可交互**：从离线视频生成器升级为可玩的活世界，支持键盘/鼠标实时操控，延迟
   低至可玩级别。
 * **开源生态**：核心架构完全开源，GitHub 与 HuggingFace 可查，已被 DiT 作者谢赛
   宁团队（Solaris）、NVIDIA及 Adobe等引用为基准。
 * **零参数增量设计**：不堆参数、不破坏原始视频分布，保留基础模型原生开放内容生成
   能力。

## Matrix -Game3.5的项目地址

 * **项目官网**：https://matrix-game-v3-5.github.io/
 * **GitHub仓库**：https://github.com/Riemann-Dynamics/Matrix-Game-3.5
 * **HuggingFace模型库**：https://huggingface.co/RiemannDynamics/Matrix-Game-3.5-
   Base
 * **技术论文**：https://matrix-game-v3-5.github.io/paper/Matrix-Game-3.5.pdf

## Matrix -Game3.5的同类竞品对比

  |  维度 |  Matrix-Game 3.5 |  [Google Genie 3](https://ai-bot.cn/genie-3/) |  
   |  **开源状态** |  核心架构完全开源 |  闭源 |  
 |  **分辨率** |  720P |  720P |  
 |  **实时帧率** |  20 FPS（单卡） |  实时 |  
 |  **交互时长** |  分钟级 |  数分钟 |  
 |  **记忆机制** |  Patch Memory（三维空间块检索） |  未公开细节 |  
 |  **控制方式** |  键盘/鼠标/相机轨迹/文本提示 |  导航指令+可提示世界事件 |  
 |  **参数增量** |  几乎零新增参数 |  未公开 |  
 |  **数据管线** |  自研三类自动化管线（UE5/3A/互联网） |  基于 Street View 等谷歌数据 |  
 |  **生态引用** |  被谢赛宁团队、NVIDIA、Adobe 引用 |  行业标杆 |

## Matrix -Game3.5的应用场景

 * **AI 游戏引擎**：替代传统游戏引擎实时生成可交互开放世界，降低 3A 游戏开发成本。
 * **机器人虚拟训练**：作为人形机器人/机械臂的虚拟训练沙盘，支持低成本海量场景试
   错与长时序任务规划。
 * **自动驾驶仿真**：构建真实物理规则的交通场景数字孪生，用于端到端驾驶策略训练。
 * **具身智能研究**：为具身 Agent 提供可交互的物理世界模拟环境，支持动作-状态联合
   训练。
 * **XR/元宇宙内容生成**：实时生成沉浸式虚拟空间，支持用户自由探索与内容创作。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

**Adobe ↗**

Adobe提供多领域软件，满足创意与办公需求。

❓ 常见问题解答（FAQ）

Matrix-Game 3.5 是什么模型？

Matrix-Game 3.5 是昆仑万维黎曼动力团队开源的实时流式交互世界模型，强调长时序记忆、
几何一致性和可交互生成。它可用于游戏世界生成、机器人训练和自动驾驶仿真等场景。

Matrix-Game 3.5 支持实时交互吗？

支持。文章信息显示，它可在单卡 GPU 上实现 720P/20FPS 的实时流式生成，并可通过键盘
WASD、鼠标视角控制或文本提示进行交互，适合连续探索场景。

Matrix-Game 3.5 的核心技术是什么？

核心技术包括 Patch Memory 长期记忆、PRoPE 与 Warped RoPE 几何编码、动静解耦记忆，
以及通过蒸馏实现的少步实时生成。这些设计共同提升了场景一致性和可玩性。

🔬 语宙深潜追问 · 进阶实操拆解

Patch Memory 对长时序一致性到底有多关键？

它能把历史状态压缩成可检索记忆，减少长视频生成中的漂移和遗忘。对需要回溯、续写和
跨分钟一致性的任务尤其重要，是实时世界模型能否稳定工作的核心之一。

这类世界模型如何接入现有仿真管线？

先把模型输出封装成标准环境接口，再对接游戏引擎或机器人仿真器的状态、动作和奖励流。
关键是统一坐标系、时间步长和物理约束，否则实时交互会出现明显偏差。

🗳️ 读者观点微投票 · 您的实战立场是？

实时世界模型落地，先攻游戏还是机器人？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🌐 所属权威专题：Gemini 全模态与空间智能 →](https://paooo.com/topics/gemini-multimodal/)

 * [昆仑万维Matrix-Game 3.0发布：720p@40FPS实时交互世界模型，开启AI游戏新纪元](https://paooo.com/aigc-news/11077/)
 * [昆仑万维Matrix-Game 2.0开源：首个通用实时交互世界模型，25FPS分钟级生成，开启AI游戏与VR新范式](https://paooo.com/aigc-news/14286/)
 * [昆仑万维首创 Harness 新范式！Matrix-Game 4.0 视频大模型游戏开源：单张 RTX 5090 跑出 60 FPS 极速交互，一句话用自然语言实时重构世界规则](https://paooo.com/trends/40088/)
 * [Matrix-Game – 昆仑万维开源的工业界首个空间智能大模型](https://paooo.com/aigc-news/19008/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/34777/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
