# 谢赛宁团队开源Solaris：首个多人视频世界生成模型，突破AI世界模拟新边界

- Link: https://paooo.com/aigc-news/11289/
- Published: 2026-06-10T04:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 首个多人视频世界生成模型Solaris，突破单人视角限制，实现双玩家同步生成。
 * 通过跨玩家注意力与Checkpointed Self Forcing，兼顾空间一致性和长时序稳定性。
 * 1260万帧多人数据闭环，为具身智能、多[智能体](https://paooo.com/trends/)协作与
   VLA训练提供高质量合成数据。

> **💡 站外导读：**当前AI世界模型主要局限于单人视角，难以模拟多人交互的复杂动态，
> 这严重制约了具身智能训练与多智能体协作研究。谢赛宁团队开源的Solaris模型，作为首
> 个多人视频世界生成系统，在Minecraft中实现了双玩家第一人称视角的同步生成，确保跨
> 视角空间一致性。该突破性进展将为AI世界模拟、游戏AI开发及机器人训练提供全新的高
> 质量合成数据解决方案。

## Solaris是什么

Solaris是首个多人视频世界生成模型，能在Minecraft中同时生成两个玩家一致的第一人称
视角。模型突破现有模型仅支持单玩家的局限，确保跨玩家视角的空间一致性——当一个玩家
建造或移动时，另一视角同步反映变化。团队自研了SolarisEngine数据系统，收集1260万帧
多人游戏数据，创新推出Checkpointed Self Forcing训练方法解决长序列内存瓶颈。

阅读目录

 * [Solaris是什么](https://paooo.com/aigc-news/11289/#solaris%e6%98%af%e4%bb%80%e4%b9%88)
 * [Solaris的主要功能](https://paooo.com/aigc-news/11289/#solaris%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Solaris的技术原理](https://paooo.com/aigc-news/11289/#solaris%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Solaris的项目地址](https://paooo.com/aigc-news/11289/#solaris%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Solaris的应用场景](https://paooo.com/aigc-news/11289/#solaris%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/11289/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![Solaris](https://paooo.com/wp-content/uploads/2026/05/Solaris-website-1.avif)

## Solaris的主要功能

 * **多人视角同步生成**：Solaris能同时为两位玩家生成一致的第一人称视频，确保跨玩家
   视角的空间一致性，当一个玩家执行动作时另一玩家的视角会实时反映变化。
 * **长时序稳定生成**：通过Checkpointed Self Forcing技术，Solaris可生成长达224帧（
   11.2秒）的稳定视频序列，有效避免误差累积导致的视觉退化。
 * **动作条件控制**：模型接受完整的Minecraft动作输入（包括移动、相机、挖掘、放置
   等），生成的视频严格遵循给定的动作序列。
 * **复杂动态模拟**：Solaris能模拟背包状态同步、天气变化、物理建造破坏、PvP战斗等
   复杂游戏动态。

## Solaris的技术原理

 * **多人DiT架构**：基于MatrixGame 2.0的单玩家扩散Transformer，通过扩展动作空间支持
   完整Minecraft输入，引入跨玩家自注意力层实现双玩家信息交换，添加玩家ID嵌入以区分
   不同视角，其余模块（交叉注意力、FFN）保持单玩家设置不变。
 * **四阶段渐进训练**：从单玩家预训练权重出发，在VPT数据集上微调适配Minecraft动作
   空间，再切换到多人数据训练双向模型作为教师，因果化为滑动窗口生成器，通过Checkpointed
   Self Forcing实现长序列稳定生成。
 * **Checkpointed Self Forcing**：为解决滑动窗口自回归的内存瓶颈，该方法先无梯度
   生成并缓存干净帧与噪声状态，通过自定义注意力掩码单次并行重计算，严格复现滑动窗口
   依赖关系，将内存从 降至 ，同时支持KV缓存梯度回传提升生成质量。
 * **SolarisEngine数据系统**：针对现有框架缺乏多人支持的问题，团队构建基于Mineflayer
   的控制器与官方Minecraft客户端的相机分离架构，通过服务器插件实时同步状态，用Docker
   容器化实现并行扩展与故障自动恢复，最终收集1260万帧动作标注的多人游戏数据。

## Solaris的项目地址

 * **项目官网**：https://solaris-wm.github.io/
 * **GitHub仓库**：https://github.com/solaris-wm/solaris
 * **HuggingFace模型库**：https://huggingface.co/collections/nyu-visionx/solaris-
   models
 * **arXiv技术论文**：https://arxiv.org/pdf/2602.22208

## Solaris的应用场景

 * **具身智能训练与评估**：作为多智能体世界模拟器，为机器人和游戏AI提供合成训练数据，
   支持策略学习、推理时规划及安全评估，避免在真实环境中试错的高昂成本。
 * **多智能体协作研究**：模拟多人协同任务（如共同建造、团队战斗），用于训练AI代理
   的协作与通信能力，研究 emergent 行为和社会智能。
 * **视觉-语言-动作模型开发**：模型能生成大规模多视角视频-动作-语言对齐数据，支持
   VLA模型的预训练与微调，弥补真实人类多人交互数据的稀缺性。
 * **3D场景理解与空间推理基准**：作为可控测试平台，评估模型在视角一致性、物体持久性、
   空间记忆等核心3D理解能力上的表现。

#### 📝 站长洞察 (Editor’s Insight)

Solaris的发布标志着世界模型从“单人叙事”迈入“多人交互”时代，这是AI理解物理世界复杂
性的关键一跃。其创新的跨玩家注意力机制与长序列训练方法，解决了多视角一致性与内存
瓶颈的核心难题。从产业视角看，这直接赋能具身智能与多智能体系统的训练范式变革——未来
自动驾驶的协同决策、工业机器人的协作、乃至虚拟社交环境的构建，都将受益于这种高保
真的多人世界模拟器。团队自研数据闭环系统，也凸显了高质量、可控数据在AI创新中的基石
作用。此工作不仅推动技术前沿，更预示着‘合成数据驱动AI进化’的范式正在加速成型。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

Solaris模型解决了什么核心问题？

它主要解决现有世界模型只能模拟单人视角、难以处理多人交互动态的问题。Solaris在Minecraft
中实现双玩家第一人称视角同步生成，并保持跨视角空间一致性，适合多智能体与具身智能
研究。

Solaris为什么能生成更长的视频序列？

团队提出Checkpointed Self Forcing方法，先无梯度缓存中间状态，再用自定义注意力掩码
并行重计算，降低长序列生成的内存压力，从而支持最长224帧、约11.2秒的稳定生成。

Solaris适合哪些应用场景？

它适合具身智能训练与评估、多智能体协作研究、视觉-语言-动作模型开发，以及3D场景理解
和空间推理基准测试。其价值在于提供可控、高一致性的多人合成数据。

🔬 语宙深潜追问 · 进阶实操拆解

多人视角一致性最难卡在哪？

难点在跨视角物体位置、遮挡关系和动作同步。训练时要同时约束几何一致性与时间连续性，
推理时还要控制采样漂移，否则人物会“瞬移”或彼此穿模。

这种世界模型能否用于机器人训练？

可以作为低成本预训练和策略验证环境，但不能直接替代真实世界。更适合先学感知、规划
和长时序记忆，再用少量真实数据做校准，降低试错风险。

🗳️ 读者观点微投票 · 您的实战立场是？

多人世界生成模型，先追一致性还是先追时长？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

 * [Multiverse – Enigma Labs推出的全球首款AI生成多人游戏模型](https://paooo.com/aigc-news/19930/)
 * [Odyssey发布Agora-1：全球首个多智能体世界模型，4人实时共享AI生成游戏世界](https://paooo.com/aigc-news/10856/)
 * [Matrix-Game – 昆仑万维开源的工业界首个空间智能大模型](https://paooo.com/aigc-news/19008/)
 * [LiveWorld – 阿德莱德大学等推出的生成式视频世界模型](https://paooo.com/aigc-news/24097/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/11289/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
