# VideoWorld – 字节联合交大等机构推出的自回归视频生成模型

- Link: https://paooo.com/aigc-news/22698/
- Published: 2026-06-08T20:18:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 仅用未标注视频学习规则、推理和规划，摆脱文本标注与强化学习依赖。
 * 结合 VQ-VAE、自回归 Transformer 与 LDM，生成视频帧并映射任务动作。
 * 围棋达 5 段专业水平（Elo 2317），机器人任务成功率接近 oracle。

## VideoWorld是什么

VideoWorld是北京交通大学、中国科学技术大学和字节跳动合作开展的一项研究项目，探索
深度生成模型是否能仅通过未标注的视频数据学习复杂的知识，包括规则、推理和规划能力。
该项目的核心是自回归[视频生成](https://ai-bot.cn/ai-video-generation-tools/)模型，
通过观察视频来获取知识，不依赖于传统的文本或标注数据。

阅读目录

 * [VideoWorld是什么](https://paooo.com/aigc-news/22698/#videoworld%e6%98%af%e4%bb%80%e4%b9%88)
 * [VideoWorld的主要功能](https://paooo.com/aigc-news/22698/#videoworld%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [VideoWorld的技术原理](https://paooo.com/aigc-news/22698/#videoworld%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [VideoWorld的项目地址](https://paooo.com/aigc-news/22698/#videoworld%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [VideoWorld的应用场景](https://paooo.com/aigc-news/22698/#videoworld%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![VideoWorld](https://paooo.com/wp-content/uploads/2026/06/VideoWorld-website-1.
avif)

## VideoWorld的主要功能

 * **从未标注视频中学习复杂知识**：VideoWorld 能仅通过未标注的视频数据学习复杂的
   任务知识，包括规则、推理和规划能力，无需依赖语言指令或标注数据。
 * **自回归视频生成**：使用 VQ-VAE 和自回归 Transformer 架构，VideoWorld 可以生成
   高质量的视频帧，通过生成的视频帧推断出任务相关的操作。
 * **长期推理和规划**：在围棋任务中，VideoWorld 能进行长期规划，选择最佳落子位置
   并击败高水平的对手（如 KataGo-5d）。 在机器人任务中，VideoWorld 能够规划复杂的
   操作序列，完成多种机器人控制任务。
 * **跨环境泛化能力**：VideoWorld 能在不同的任务和环境中迁移所学的知识，表现出良好
   的泛化能力。
 * ** 紧凑的视觉信息表示**：LDM 将冗长的视觉信息压缩为紧凑的潜在代码，减少了信息
   冗余，提高了学习效率。 这种紧凑表示使模型能够更高效地处理复杂的视觉动态，支持
   长期推理和决策。
 * **无需强化学习的自主学习**：VideoWorld 不依赖于传统的强化学习方法（如搜索算法
   或奖励机制），而是通过纯视觉输入自主学习复杂的任务。
 * **高效的知识学习与推理**：VideoWorld 在围棋任务中达到了 5 段专业水平（Elo 2317），
   仅使用 3 亿参数，展示了其高效的知识学习能力。 在机器人任务中，VideoWorld 的任务
   成功率接近 oracle 模型，表现出高效推理和决策的能力。
 * **视觉信息的深度理解**：VideoWorld 能通过生成的视频帧和潜在代码，理解复杂的视觉
   信息，支持任务驱动的推理和决策。
 * **支持多种任务类型**：VideoWorld 不仅适用于围棋和机器人控制任务，还具有扩展到
   其他复杂任务的潜力，如自动驾驶、智能监控等领域。

## VideoWorld的技术原理

 * **VQ-VAE（矢量量化-变分自编码器）**：用于将视频帧编码为离散的 token 序列。VQ-
   VAE 通过矢量量化将连续的图像特征映射到离散的码本（codebook）中，生成离散的表示。
 * **自回归 Transformer**：基于离散 token 序列进行下一个 token 的预测。Transformer
   架构利用自回归机制，根据前面的帧预测下一帧，从而生成连贯的视频序列。
 * **潜在动态模型（LDM）**：引入 LDM，将多步视觉变化压缩为紧凑的潜在代码，提高知识
   学习的效率和效果。LDM 能捕捉视频中的短期和长期动态，支持复杂的推理和规划任务。
 * **视频生成与任务操作的映射**： 在生成视频帧的基础上，VideoWorld 进一步通过逆动态
   模型（Inverse Dynamics Model, IDM）将生成的视频帧映射为具体的任务操作。 IDM 是
   一个独立训练的模块，通常由多层感知机（MLP）组成，能根据当前帧和生成的下一帧预测
   出相应的动作。
 * **数据驱动的知识学习**：VideoWorld 通过大规模的未标注视频数据进行学习，减少了
   对人工标注数据的依赖，降低了数据准备的成本。

## VideoWorld的项目地址

 * **项目官网**：[https://maverickren.github.io/VideoWorld](https://maverickren.github.io/VideoWorld.github.io/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/bytedance/VideoWorld](https://github.com/bytedance/VideoWorld)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2501.09781](https://arxiv.org/pdf/2501.09781)

## VideoWorld的应用场景

 * **自动驾驶**：通过车载摄像头的视频输入，VideoWorld 可以学习道路环境的动态变化，
   识别交通标志、行人和障碍物。
 * **智能监控**：通过观察监控视频，VideoWorld 可以学习正常和异常行为的模式，实时
   检测异常事件。
 * **故障检测**：通过观察生产过程的视频，VideoWorld 可以学习正常和异常状态的模式，
   实时检测故障。
 * **游戏 AI**：需要模型能根据游戏环境生成合理的操作，与玩家或其他 AI 对抗。通过
   观察游戏视频，VideoWorld 可以学习游戏规则和环境动态。
 * **故障检测**：通过观察生产过程的视频，VideoWorld 可以学习正常和异常状态的模式，
   实时检测故障。

❓ 常见问题解答（FAQ）

VideoWorld 是什么模型？

VideoWorld 是北京交通大学、中国科学技术大学和字节跳动合作研究的自回归视频生成模型，
核心思路是只通过未标注视频学习复杂知识，包括规则、推理和规划能力，而不依赖文本指令
或人工标注数据。

VideoWorld 为什么能做推理和规划？

它先用 VQ-VAE 将视频帧离散化，再用自回归 Transformer 预测后续帧，并结合潜在动态模型
压缩多步变化，最后通过逆动态模型把生成结果映射为动作，因此能支持长期推理与规划。

VideoWorld 适合哪些应用场景？

文章提到它可用于围棋、机器人控制、自动驾驶、智能监控、故障检测和游戏 AI 等场景，
尤其适合需要从视觉动态中学习规则、做决策和规划的任务。

🔬 语宙深潜追问 · 进阶实操拆解

无标注视频训练的关键瓶颈是什么？

核心瓶颈是时序对齐、长程信用分配和可验证目标稀缺。要想落地，通常需要把视频任务拆
成可监督的子目标，配合自监督预训练与少量任务微调，才能把“会看”变成“会做”。

它在机器人控制里怎么接入现有系统？

更适合做高层规划或策略建议，而不是直接替代底层控制器。实际部署时应保留安全约束、
动作限幅和失败回退机制，用模型输出指导决策，再由传统控制栈执行。

🗳️ 读者观点微投票 · 您的实战立场是？

VideoWorld 只看视频学推理，真能落地吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Vid2World：清华重大突破！视频扩散模型秒变交互式世界模型，机器人、游戏开发迎来新范式](https://paooo.com/aigc-news/17083/)
 * [阿里达摩院重磅发布WorldVLA：统一视觉-语言-动作模型，让机器人“既会看又会动”](https://paooo.com/aigc-news/14644/)
 * [LiveWorld – 阿德莱德大学等推出的生成式视频世界模型](https://paooo.com/aigc-news/24097/)
 * [Matrix-Game – 昆仑万维开源的工业界首个空间智能大模型](https://paooo.com/aigc-news/19008/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22698/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
