# MineWorld – 微软研究院开源的实时交互式世界模型

- Link: https://paooo.com/aigc-news/20274/
- Published: 2026-06-08T12:32:52+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于视觉-动作自回归 Transformer，MineWorld 将游戏场景与动作离散化建模，实现高保
   真世界生成。
 * 并行解码算法把推理速度提升到每秒 4 至 7 帧，支持实时交互，优于现有同类模型。
 * 模型可作为游戏代理与研究平台，适用于具身智能、强化学习训练和视频生成编辑。

## MineWorld是什么

MineWorld是微软研究院开源的基于《我的世界》（Minecraft）的实时交互式世界模型，基于
视觉-动作自回归Transformer架构，将游戏场景和动作转化为离散的token ID，通过下一个
token预测进行训练。模型开发了并行解码算法，可实现每秒4至7帧的生成速度，支持实时互动。
MineWorld在视频质量、可控性和推理速度上均优于现有模型，如Oasis。

阅读目录

 * [MineWorld是什么](https://paooo.com/aigc-news/20274/#mineworld%e6%98%af%e4%bb%80%e4%b9%88)
 * [MineWorld的主要功能](https://paooo.com/aigc-news/20274/#mineworld%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MineWorld的技术原理](https://paooo.com/aigc-news/20274/#mineworld%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [MineWorld的项目地址](https://paooo.com/aigc-news/20274/#mineworld%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MineWorld的应用场景](https://paooo.com/aigc-news/20274/#mineworld%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![MineWorld](https://paooo.com/wp-content/uploads/2026/06/MineWorld-website-1.avif)

## MineWorld的主要功能

 * **高生成质量**：基于视觉-动作自回归 Transformer，MineWorld 能根据视觉和动作生成
   连贯、高保真的游戏帧。
 * **强可控性**：模型通过动作跟随能力的基准测试，展现出精确且一致的行为，能根据输入
   动作生成准确的游戏场景。
 * **快速推理速度**：采用并行解码算法，使模型能以每秒 4 至 7 帧的速度生成图像，支持
   实时互动。
 * **作为游戏代理**：MineWorld 在训练过程中同时预测游戏状态和动作，可以作为独立的
   游戏代理自主进行游戏。
 * **实时交互能力**：用户可以通过 Web 演示或本地运行与模型进行实时互动，选择初始
   帧、控制相机移动并执行游戏动作。

## MineWorld的技术原理

 * **视觉-动作自回归 Transformer**：MineWorld 通过将游戏场景和玩家动作转化为离散
   的 token 序列，实现视觉和动作的联合建模。具体来说：
    - **图像标记器（Visual Tokenizer）**：采用 VQ-VAE 架构，将游戏场景分割为离散
      的视觉标记。标记器从预训练的检查点开始，在 Minecraft 数据集上进行微调，实现
      高质量的图像重建。
    - **动作标记器（Action Tokenizer）**：将玩家的连续动作（如鼠标移动）量化为离散
      的标记，将离散动作（如前进、攻击）归类为不同的类别，每个类别由唯一的标记表示。
    - **Transformer 解码器**：采用 LLaMA 架构，接收交错拼接的视觉标记和动作标记序列
      作为输入，通过下一个标记预测进行训练。解码器能同时学习游戏状态的丰富表示以及
      状态和动作之间的条件关系。
 * **并行解码算法**：为了实现实时交互，MineWorld 开发了一种并行解码算法。算法利用
   相邻图像标记之间的空间依赖性，同时预测每帧中的空间冗余标记。与传统的自回归解码
   算法相比，能显著提升生成速度，使模型能在不同规模下达到每秒 4 至 7 帧的生成速度。
 * **训练**：模型通过下一个标记预测进行训练，学习游戏状态之间的动态演变规律以及动作
   与状态之间的关联。
 * **推理**：在推理阶段，模型根据输入的当前游戏状态和动作，生成后续的游戏场景。并行
   解码算法的应用使得模型能快速生成高质量的游戏帧。
 * **评估指标**：MineWorld 提出了新的评估指标，评估生成场景的视觉质量，动作跟随能力。
   例如，通过比较生成场景中预测的动作与输入的真实动作之间的准确性，来量化模型的可
   控性。

## MineWorld的项目地址

 * **Github仓库**：[https://github.com/microsoft/MineWorld](https://github.com/microsoft/MineWorld)
 * **HuggingFace模型库**：[https://huggingface.co/microsoft/mineworld](https://huggingface.co/microsoft/mineworld)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2504.08388](https://arxiv.org/pdf/2504.08388)

## MineWorld的应用场景

 * **具身智能研究**：MineWorld 提供了一个高保真、可交互的虚拟环境，能模拟复杂的物理
   规则和动态场景，非常适合用于具身智能的研究。研究人员可以用模型训练[智能体](https://paooo.com/trends/)，
   学习如何在虚拟环境中执行任务，如物体定位导航、环境探索等。
 * **强化学习训练**：MineWorld 的实时交互能力和高生成质量使其成为强化学习训练的理想
   平台。研究人员可以用模型快速生成大量的训练数据，帮助智能体在模拟环境中学习最优
   策略。
 * **游戏代理开发**：由于 MineWorld 在训练过程中同时预测游戏状态和动作，具备作为
   游戏代理的潜力。给定初始游戏状态和动作，模型可以迭代生成未来的状态和动作，模拟
   长期的游戏过程。
 * **实时交互式模拟**：MineWorld 的快速推理速度（每秒 4 至 7 帧）能支持与游戏玩家
   的实时交互。
 * **视频生成与编辑**：MineWorld 能生成高质量、连贯一致的游戏视频。可以用于视频内容
   创作，例如生成游戏预告片、教学视频等。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

**LLaMA ↗**

Meta（Facebook）推出的AI大语言模型。

**LLaMA ↗**

在线AI大模型微调平台，零代码、可视化操作。

❓ 常见问题解答（FAQ）

MineWorld 是什么模型？

MineWorld 是微软研究院开源的基于 Minecraft 的实时交互式世界模型。它把视觉和动作转
成离散 token，用自回归 Transformer 预测下一步状态，支持实时生成与交互。

MineWorld 为什么能实时交互？

关键在于并行解码算法。它利用图像 token 的空间依赖性，同时预测冗余标记，从而把生成
速度提升到每秒 4 至 7 帧，满足实时互动需求。

MineWorld 适合哪些应用场景？

它适合具身智能研究、强化学习训练、游戏代理开发、实时交互式模拟，以及高质量游戏视频
生成与编辑，尤其适合需要可控世界建模的任务。

🔬 语宙深潜追问 · 进阶实操拆解

MineWorld对具身智能研究最有价值的点是什么？

它把视觉、动作和环境反馈放进统一生成框架，便于研究长时序决策与交互预测。对具身智能
来说，这类模型更适合做仿真训练、策略预演和数据生成，而不是直接替代控制器。

世界模型落地机器人时最大难点是什么？

最大难点是现实世界的噪声、延迟和安全约束远高于游戏环境。落地时要把世界模型放在规划
层，底层仍由传统控制与安全模块兜底，并通过仿真到现实的校准降低偏差。

🗳️ 读者观点微投票 · 您的实战立场是？

实时世界模型离机器人落地还有多远？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🌐 所属权威专题：Gemini 全模态与空间智能 →](https://paooo.com/topics/gemini-multimodal/)

 * [Matrix-Game – 昆仑万维开源的工业界首个空间智能大模型](https://paooo.com/aigc-news/19008/)
 * [MoWorld – 魔芯科技推出的全球首个高帧率交互式世界模型](https://paooo.com/aigc-news/26750/)
 * [昆仑万维Matrix-Game 2.0开源：首个通用实时交互世界模型，25FPS分钟级生成，开启AI游戏与VR新范式](https://paooo.com/aigc-news/14286/)
 * [LiveWorld – 阿德莱德大学等推出的生成式视频世界模型](https://paooo.com/aigc-news/24097/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/20274/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
