Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 谢赛宁团队开源Solaris:首个多人视频世界生成模型,突破AI世界模拟新边界
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
谢赛宁团队开源Solaris:首个多人视频世界生成模型,突破AI世界模拟新边界
Prompt 语宙 > AI 工具 > 谢赛宁团队开源Solaris:首个多人视频世界生成模型,突破AI世界模拟新边界
AI 工具AIGC 资讯

谢赛宁团队开源Solaris:首个多人视频世界生成模型,突破AI世界模拟新边界

Prompt 语宙研究院
最近更新: 2026年6月7日 下午8:04
Minecraft 世界模型 具身智能 多智能体 视频生成
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 首个多人视频世界生成模型Solaris,突破单人视角限制,实现双玩家同步生成。
  • 通过跨玩家注意力与Checkpointed Self Forcing,兼顾空间一致性和长时序稳定性。
  • 1260万帧多人数据闭环,为具身智能、多智能体协作与VLA训练提供高质量合成数据。

💡 站外导读:当前AI世界模型主要局限于单人视角,难以模拟多人交互的复杂动态,这严重制约了具身智能训练与多智能体协作研究。谢赛宁团队开源的Solaris模型,作为首个多人视频世界生成系统,在Minecraft中实现了双玩家第一人称视角的同步生成,确保跨视角空间一致性。该突破性进展将为AI世界模拟、游戏AI开发及机器人训练提供全新的高质量合成数据解决方案。

Solaris是什么

Solaris是首个多人视频世界生成模型,能在Minecraft中同时生成两个玩家一致的第一人称视角。模型突破现有模型仅支持单玩家的局限,确保跨玩家视角的空间一致性——当一个玩家建造或移动时,另一视角同步反映变化。团队自研了SolarisEngine数据系统,收集1260万帧多人游戏数据,创新推出Checkpointed Self Forcing训练方法解决长序列内存瓶颈。

阅读目录
  • Solaris是什么
  • Solaris的主要功能
  • Solaris的技术原理
  • Solaris的项目地址
  • Solaris的应用场景
      • 📝 站长洞察 (Editor’s Insight)

Solaris

Solaris的主要功能

  • 多人视角同步生成:Solaris能同时为两位玩家生成一致的第一人称视频,确保跨玩家视角的空间一致性,当一个玩家执行动作时另一玩家的视角会实时反映变化。
  • 长时序稳定生成:通过Checkpointed Self Forcing技术,Solaris可生成长达224帧(11.2秒)的稳定视频序列,有效避免误差累积导致的视觉退化。
  • 动作条件控制:模型接受完整的Minecraft动作输入(包括移动、相机、挖掘、放置等),生成的视频严格遵循给定的动作序列。
  • 复杂动态模拟:Solaris能模拟背包状态同步、天气变化、物理建造破坏、PvP战斗等复杂游戏动态。

Solaris的技术原理

  • 多人DiT架构:基于MatrixGame 2.0的单玩家扩散Transformer,通过扩展动作空间支持完整Minecraft输入,引入跨玩家自注意力层实现双玩家信息交换,添加玩家ID嵌入以区分不同视角,其余模块(交叉注意力、FFN)保持单玩家设置不变。
  • 四阶段渐进训练:从单玩家预训练权重出发,在VPT数据集上微调适配Minecraft动作空间,再切换到多人数据训练双向模型作为教师,因果化为滑动窗口生成器,通过Checkpointed Self Forcing实现长序列稳定生成。
  • Checkpointed Self Forcing:为解决滑动窗口自回归的内存瓶颈,该方法先无梯度生成并缓存干净帧与噪声状态,通过自定义注意力掩码单次并行重计算,严格复现滑动窗口依赖关系,将内存从O(Lt​⋅Ls​) 降至O(Lt​) ,同时支持KV缓存梯度回传提升生成质量。
  • SolarisEngine数据系统:针对现有框架缺乏多人支持的问题,团队构建基于Mineflayer的控制器与官方Minecraft客户端的相机分离架构,通过服务器插件实时同步状态,用Docker容器化实现并行扩展与故障自动恢复,最终收集1260万帧动作标注的多人游戏数据。

Solaris的项目地址

  • 项目官网:https://solaris-wm.github.io/
  • GitHub仓库:https://github.com/solaris-wm/solaris
  • HuggingFace模型库:https://huggingface.co/collections/nyu-visionx/solaris-models
  • arXiv技术论文:https://arxiv.org/pdf/2602.22208

Solaris的应用场景

  • 具身智能训练与评估:作为多智能体世界模拟器,为机器人和游戏AI提供合成训练数据,支持策略学习、推理时规划及安全评估,避免在真实环境中试错的高昂成本。
  • 多智能体协作研究:模拟多人协同任务(如共同建造、团队战斗),用于训练AI代理的协作与通信能力,研究 emergent 行为和社会智能。
  • 视觉-语言-动作模型开发:模型能生成大规模多视角视频-动作-语言对齐数据,支持VLA模型的预训练与微调,弥补真实人类多人交互数据的稀缺性。
  • 3D场景理解与空间推理基准:作为可控测试平台,评估模型在视角一致性、物体持久性、空间记忆等核心3D理解能力上的表现。

📝 站长洞察 (Editor’s Insight)

Solaris的发布标志着世界模型从“单人叙事”迈入“多人交互”时代,这是AI理解物理世界复杂性的关键一跃。其创新的跨玩家注意力机制与长序列训练方法,解决了多视角一致性与内存瓶颈的核心难题。从产业视角看,这直接赋能具身智能与多智能体系统的训练范式变革——未来自动驾驶的协同决策、工业机器人的协作、乃至虚拟社交环境的构建,都将受益于这种高保真的多人世界模拟器。团队自研数据闭环系统,也凸显了高质量、可控数据在AI创新中的基石作用。此工作不仅推动技术前沿,更预示着‘合成数据驱动AI进化’的范式正在加速成型。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
Solaris模型解决了什么核心问题?

它主要解决现有世界模型只能模拟单人视角、难以处理多人交互动态的问题。Solaris在Minecraft中实现双玩家第一人称视角同步生成,并保持跨视角空间一致性,适合多智能体与具身智能研究。

Solaris为什么能生成更长的视频序列?

团队提出Checkpointed Self Forcing方法,先无梯度缓存中间状态,再用自定义注意力掩码并行重计算,降低长序列生成的内存压力,从而支持最长224帧、约11.2秒的稳定生成。

Solaris适合哪些应用场景?

它适合具身智能训练与评估、多智能体协作研究、视觉-语言-动作模型开发,以及3D场景理解和空间推理基准测试。其价值在于提供可控、高一致性的多人合成数据。

🔬 语宙深潜追问 · 进阶实操拆解
多人视角一致性最难卡在哪?

难点在跨视角物体位置、遮挡关系和动作同步。训练时要同时约束几何一致性与时间连续性,推理时还要控制采样漂移,否则人物会“瞬移”或彼此穿模。

这种世界模型能否用于机器人训练?

可以作为低成本预训练和策略验证环境,但不能直接替代真实世界。更适合先学感知、规划和长时序记忆,再用少量真实数据做校准,降低试错风险。

🗳️ 读者观点微投票 · 您的实战立场是?
多人世界生成模型,先追一致性还是先追时长?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
  • Multiverse – Enigma Labs推出的全球首款AI生成多人游戏模型
  • Odyssey发布Agora-1:全球首个多智能体世界模型,4人实时共享AI生成游戏世界
  • Matrix-Game – 昆仑万维开源的工业界首个空间智能大模型
  • LiveWorld – 阿德莱德大学等推出的生成式视频世界模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
输出免费且原生支持视频全模态!Google重磅发布Gemini Decision 1决策模型API:是非题首创置信概率输出、横评OpenAI与Jev及智能体选型全景实战
AtomoVideo – 阿里推出的高保真图像到视频生成框架
小米MiMo-V2-TTS重磅发布:上亿小时数据训练,Agent时代的语音合成革命
ACE – 阿里通义实验室推出的全能图像生成和编辑模型
开源桌面AI助手NeuralAgent:用自然语言自动执行键盘鼠标操作,集成GPT-4/Claude多模型,高效提升办公生产力
TAGGED:Minecraft世界模型具身智能多智能体视频生成
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Clawith:企业级开源多智能体协作框架,让AI数字员工深度融入团队协作 Clawith:企业级开源多智能体协作框架,让AI数字员工深度融入团队协作
下一篇 上海AI Lab开源InternVL-U:4B参数轻量化多模态模型,实现理解-推理-生成-编辑端到端闭环 上海AI Lab开源InternVL-U:4B参数轻量化多模态模型,实现理解-推理-生成-编辑端到端闭环
Ad image
Ad image

最近更新

Hello Partner 深度报道主图:2026 年黑五消费前夕 Barclays 与 KPMG 对英国消费者使用 AI 工具比价给出悬殊数据
55%用AI找黑五折扣还是仅12%问大模型?Barclays与KPMG调研打架真相:零点击比价、84%返利盲区与联盟归因断层全拆解
AI 工具
The Verge 专题主视觉:开发者正借助 Claude Code 与 Codex 等 AI 编程工具改造电视、相机与嵌入式硬件固件
从电视去广告到PS5跑老盘!Vibe Coding正席卷消费硬件固件:Take-Two预警强硬DRM反制与ESP32安全替代路径全拆解
最新趋势
Rest of World 调查揭示 AI 大模型数据产业链现状:高学历专家与全球劳动力正在被平台纳入按件计费的零工模式
美国心脏科医生时薪180美元、东南亚仅7.5美元?揭秘大模型“专家零工化”暗面:Scale AI与Mercor的算力人力套利
AIGC 资讯
Forrester 发布“信任与保障组织(TAO)”研究报告概念图:AI 重塑企业安全团队架构与 CISO 治理权责边界
37%企业AI项目未投产先折戟!Forrester呼吁CISO重构安全架构:打造TAO“信任与保障组织”,弥合权责与能力双缺口
最新趋势

相关推荐

700TOPS算力对齐99.99%、首发量产Armv9车规CPU!新芯航途重磅发布X7 Ultra智驾芯片:以“大模型定义芯片”重构端到端车载计算全景深度拆解 核心实测与架构演示 1
AIGC 资讯

700TOPS算力对齐99.99%、首发量产Armv9车规CPU!新芯航途重磅发布X7 Ultra智驾芯片:以“大模型定义芯片”重构端到端车载计算全景深度拆解

Prompt 语宙研究院
Armv9车规CPU X7 Ultra 新芯航途 智驾芯片 端到端大模型
人形机器人迎来飞跃!逐际动力张巍:智能水平已达 GPT-3 阶段
AIGC 资讯

人形机器人迎来飞跃!逐际动力张巍:智能水平已达 GPT-3 阶段

Prompt 语宙研究院
3D与空间智能 AI智能体 大模型微调
夸克灵知大模型 – 夸克推出的AI学习大模型
AIGC 资讯

夸克灵知大模型 – 夸克推出的AI学习大模型

Prompt 语宙研究院
AI办公效率 AI智能体 AI编程 OpenAI 开源大模型
全球AI监管硬核转向:美英强制测试成企业入场券,安全能力=核心竞争力
AIGC 资讯最新趋势

全球AI监管硬核转向:美英强制测试成企业入场券,安全能力=核心竞争力

Prompt 语宙研究院
AI监管 Anthropic Claude Gemini OpenAI 人工智能 安全评估
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 Claude Code
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.