---
title: "Matrix -Game3.5 – 昆仑万维开源的实时流式交互世界模型"
url: "https://paooo.com/aigc-news/34777/"
author: "Prompt 语宙研究院"
published_at: "2026-07-21T13:01:59+08:00"
updated_at: "2026-07-21T13:01:59+08:00"
categories: "AIGC 资讯"
tags: "3D与空间智能, Adobe, AI智能体, HuggingFace, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# Matrix -Game3.5 – 昆仑万维开源的实时流式交互世界模型

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/34777/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-21

## AI 30 秒核心看点 (TL;DR)

- Patch Memory + Warped RoPE 让模型具备三维空间级长期记忆，解决场景漂移与物体重现问题。
- 单卡可实现720P/20FPS实时流式生成，并支持键鼠操控、分钟级连续探索。
- 核心架构开源，面向游戏、机器人训练和自动驾驶仿真等通用物理世界模拟场景。

## Matrix -Game3.5是什么

Matrix-Game 3.5 是昆仑万维黎曼动力团队开源的实时流式交互世界模型，基于 Patch Memory 与 Warped PRoPE 实现三维空间级长期记忆与几何一致性建模。模型支持 720P/20FPS 单卡实时生成，具备分钟级场景回溯能力，可响应键盘鼠标实时操控。从游戏引擎走向通用物理世界模拟，为机器人训练、自动驾驶仿真与具身智能提供开源基础设施。

## Matrix -Game3.5的主要功能

- 
**Patch Memory 长期记忆**：将历史画面切分为三维空间坐标下的图像块（Patch），按空间位置检索重组，解决物体重现与场景漂移问题，物体重现得分突破此前行业 0.6 的上限。

- 
**PRoPE + Warped RoPE 几何编码**：将相机投影矩阵编码融入 Transformer 时空位置表示，使模型感知相机旋转、平移与投影关系，实现精准视角控制与几何一致性。

- 
**动静解耦记忆**：静态场景由 Patch Memory 维护，动态主体通过轻量级 Reference Token 保持身份一致性，避免移动物体污染记忆导致重影。

- 
**实时流式生成**：通过蒸馏将采样步数压缩至 3 步，结合分块因果推理、KV Cache、INT8 量化与 VAE 结构化剪枝，实现单卡 GPU 720P/20FPS 实时生成。

- 
**自动化数据管线**：构建 Unreal-Gen（虚幻引擎）、AAA 游戏管线与互联网视频管线三类数据系统，产出 500 万+高质量视频切片、1 万+小时训练数据，覆盖 1200+游戏场景。

- 
**NPC 交互与开放世界泛化**：支持文本驱动的世界生成、角色动作控制与多智能体协同。

## Matrix -Game3.5的技术原理

- 
**统一几何感知记忆框架**：PRoPE 将相机位姿编码为相对位置码，不引入额外可学习参数；Warped RoPE 重新计算历史 Patch 在当前视角下的时空坐标，实现记忆复用时的坐标对齐。

- 
**渐进式蒸馏**：分两阶段将双向 DiT 蒸馏为因果生成器——用 Perceptual Flow Matching 获得高质量少步因果初始化，通过 Self-Rollout DMD（分布匹配蒸馏）在自回归轨迹上训练，配合条件课程逐步蒸馏无分类器引导、相机控制与记忆条件生成。

- 
**轻量化可插拔架构**：核心交互功能（PRoPE、Patch Memory、动静解耦）均不新增参数，用模块化插件形式适配不同视频基础模型。

微信关注回复“开源”，加入**AI开源项目交流群**

## 如何使用Matrix -Game3.5

- 
**下载模型**：通过 GitHub（https://github.com/Riemann-Dynamics/Matrix-Game-3.5）或 HuggingFace 获取权重与推理代码。

- 
**部署环境**：准备单张支持 CUDA 的 GPU，安装依赖后加载模型。

- 
**输入控制**：通过键盘 WASD 移动、鼠标控制视角，或输入文本提示/相机轨迹生成交互世界。

- 
**实时交互**：模型用 20FPS 流式输出后续帧，支持分钟级连续探索而不丢失场景一致性。

## Matrix -Game3.5的核心优势

- 
**长时序一致性**：首次在开源方案中系统性解决世界模型分钟级记忆瓶颈，镜头往返重访时场景元素保持完全一致。

- 
**实时可交互**：从离线视频生成器升级为可玩的活世界，支持键盘/鼠标实时操控，延迟低至可玩级别。

- 
**开源生态**：核心架构完全开源，GitHub 与 HuggingFace 可查，已被 DiT 作者谢赛宁团队（Solaris）、NVIDIA及 Adobe等引用为基准。

- 
**零参数增量设计**：不堆参数、不破坏原始视频分布，保留基础模型原生开放内容生成能力。

## Matrix -Game3.5的项目地址

- **项目官网**：https://matrix-game-v3-5.github.io/

- **GitHub仓库**：https://github.com/Riemann-Dynamics/Matrix-Game-3.5

- **HuggingFace模型库**：https://huggingface.co/RiemannDynamics/Matrix-Game-3.5-Base

- **技术论文**：https://matrix-game-v3-5.github.io/paper/Matrix-Game-3.5.pdf

## Matrix -Game3.5的同类竞品对比

维度
Matrix-Game 3.5
[Google Genie 3](https://ai-bot.cn/genie-3/)

**开源状态**
核心架构完全开源
闭源

**分辨率**
720P
720P

**实时帧率**
20 FPS（单卡）
实时

**交互时长**
分钟级
数分钟

**记忆机制**
Patch Memory（三维空间块检索）
未公开细节

**控制方式**
键盘/鼠标/相机轨迹/文本提示
导航指令+可提示世界事件

**参数增量**
几乎零新增参数
未公开

**数据管线**
自研三类自动化管线（UE5/3A/互联网）
基于 Street View 等谷歌数据

**生态引用**
被谢赛宁团队、NVIDIA、Adobe 引用
行业标杆

## Matrix -Game3.5的应用场景

- 
**AI 游戏引擎**：替代传统游戏引擎实时生成可交互开放世界，降低 3A 游戏开发成本。

- 
**机器人虚拟训练**：作为人形机器人/机械臂的虚拟训练沙盘，支持低成本海量场景试错与长时序任务规划。

- 
**自动驾驶仿真**：构建真实物理规则的交通场景数字孪生，用于端到端驾驶策略训练。

- 
**具身智能研究**：为具身 Agent 提供可交互的物理世界模拟环境，支持动作-状态联合训练。

- 
**XR/元宇宙内容生成**：实时生成沉浸式虚拟空间，支持用户自由探索与内容创作。

## 常见问题解答 (FAQ)

### Matrix-Game 3.5 是什么模型？
Matrix-Game 3.5 是昆仑万维黎曼动力团队开源的实时流式交互世界模型，强调长时序记忆、几何一致性和可交互生成。它可用于游戏世界生成、机器人训练和自动驾驶仿真等场景。

### Matrix-Game 3.5 支持实时交互吗？
支持。文章信息显示，它可在单卡 GPU 上实现 720P/20FPS 的实时流式生成，并可通过键盘 WASD、鼠标视角控制或文本提示进行交互，适合连续探索场景。

### Matrix-Game 3.5 的核心技术是什么？
核心技术包括 Patch Memory 长期记忆、PRoPE 与 Warped RoPE 几何编码、动静解耦记忆，以及通过蒸馏实现的少步实时生成。这些设计共同提升了场景一致性和可玩性。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
