Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: VideoWorld – 字节联合交大等机构推出的自回归视频生成模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
VideoWorld – 字节联合交大等机构推出的自回归视频生成模型
Prompt 语宙 > AIGC 资讯 > VideoWorld – 字节联合交大等机构推出的自回归视频生成模型
AIGC 资讯

VideoWorld – 字节联合交大等机构推出的自回归视频生成模型

Prompt 语宙研究院
最近更新: 2026年6月8日 下午8:18
3D与空间智能 AI智能体 AI视频生成 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 仅用未标注视频学习规则、推理和规划,摆脱文本标注与强化学习依赖。
  • 结合 VQ-VAE、自回归 Transformer 与 LDM,生成视频帧并映射任务动作。
  • 围棋达 5 段专业水平(Elo 2317),机器人任务成功率接近 oracle。

VideoWorld是什么

VideoWorld是北京交通大学、中国科学技术大学和字节跳动合作开展的一项研究项目,探索深度生成模型是否能仅通过未标注的视频数据学习复杂的知识,包括规则、推理和规划能力。该项目的核心是自回归视频生成模型,通过观察视频来获取知识,不依赖于传统的文本或标注数据。

阅读目录
  • VideoWorld是什么
  • VideoWorld的主要功能
  • VideoWorld的技术原理
  • VideoWorld的项目地址
  • VideoWorld的应用场景

VideoWorld

VideoWorld的主要功能

  • 从未标注视频中学习复杂知识:VideoWorld 能仅通过未标注的视频数据学习复杂的任务知识,包括规则、推理和规划能力,无需依赖语言指令或标注数据。
  • 自回归视频生成:使用 VQ-VAE 和自回归 Transformer 架构,VideoWorld 可以生成高质量的视频帧,通过生成的视频帧推断出任务相关的操作。
  • 长期推理和规划:在围棋任务中,VideoWorld 能进行长期规划,选择最佳落子位置并击败高水平的对手(如 KataGo-5d)。 在机器人任务中,VideoWorld 能够规划复杂的操作序列,完成多种机器人控制任务。
  • 跨环境泛化能力:VideoWorld 能在不同的任务和环境中迁移所学的知识,表现出良好的泛化能力。
  • 紧凑的视觉信息表示:LDM 将冗长的视觉信息压缩为紧凑的潜在代码,减少了信息冗余,提高了学习效率。 这种紧凑表示使模型能够更高效地处理复杂的视觉动态,支持长期推理和决策。
  • 无需强化学习的自主学习:VideoWorld 不依赖于传统的强化学习方法(如搜索算法或奖励机制),而是通过纯视觉输入自主学习复杂的任务。
  • 高效的知识学习与推理:VideoWorld 在围棋任务中达到了 5 段专业水平(Elo 2317),仅使用 3 亿参数,展示了其高效的知识学习能力。 在机器人任务中,VideoWorld 的任务成功率接近 oracle 模型,表现出高效推理和决策的能力。
  • 视觉信息的深度理解:VideoWorld 能通过生成的视频帧和潜在代码,理解复杂的视觉信息,支持任务驱动的推理和决策。
  • 支持多种任务类型:VideoWorld 不仅适用于围棋和机器人控制任务,还具有扩展到其他复杂任务的潜力,如自动驾驶、智能监控等领域。

VideoWorld的技术原理

  • VQ-VAE(矢量量化-变分自编码器):用于将视频帧编码为离散的 token 序列。VQ-VAE 通过矢量量化将连续的图像特征映射到离散的码本(codebook)中,生成离散的表示。
  • 自回归 Transformer:基于离散 token 序列进行下一个 token 的预测。Transformer 架构利用自回归机制,根据前面的帧预测下一帧,从而生成连贯的视频序列。
  • 潜在动态模型(LDM):引入 LDM,将多步视觉变化压缩为紧凑的潜在代码,提高知识学习的效率和效果。LDM 能捕捉视频中的短期和长期动态,支持复杂的推理和规划任务。
  • 视频生成与任务操作的映射: 在生成视频帧的基础上,VideoWorld 进一步通过逆动态模型(Inverse Dynamics Model, IDM)将生成的视频帧映射为具体的任务操作。 IDM 是一个独立训练的模块,通常由多层感知机(MLP)组成,能根据当前帧和生成的下一帧预测出相应的动作。
  • 数据驱动的知识学习:VideoWorld 通过大规模的未标注视频数据进行学习,减少了对人工标注数据的依赖,降低了数据准备的成本。

VideoWorld的项目地址

  • 项目官网:https://maverickren.github.io/VideoWorld
  • GitHub仓库:https://github.com/bytedance/VideoWorld
  • arXiv技术论文:https://arxiv.org/pdf/2501.09781

VideoWorld的应用场景

  • 自动驾驶:通过车载摄像头的视频输入,VideoWorld 可以学习道路环境的动态变化,识别交通标志、行人和障碍物。
  • 智能监控:通过观察监控视频,VideoWorld 可以学习正常和异常行为的模式,实时检测异常事件。
  • 故障检测:通过观察生产过程的视频,VideoWorld 可以学习正常和异常状态的模式,实时检测故障。
  • 游戏 AI:需要模型能根据游戏环境生成合理的操作,与玩家或其他 AI 对抗。通过观察游戏视频,VideoWorld 可以学习游戏规则和环境动态。
  • 故障检测:通过观察生产过程的视频,VideoWorld 可以学习正常和异常状态的模式,实时检测故障。
❓ 常见问题解答(FAQ)
VideoWorld 是什么模型?

VideoWorld 是北京交通大学、中国科学技术大学和字节跳动合作研究的自回归视频生成模型,核心思路是只通过未标注视频学习复杂知识,包括规则、推理和规划能力,而不依赖文本指令或人工标注数据。

VideoWorld 为什么能做推理和规划?

它先用 VQ-VAE 将视频帧离散化,再用自回归 Transformer 预测后续帧,并结合潜在动态模型压缩多步变化,最后通过逆动态模型把生成结果映射为动作,因此能支持长期推理与规划。

VideoWorld 适合哪些应用场景?

文章提到它可用于围棋、机器人控制、自动驾驶、智能监控、故障检测和游戏 AI 等场景,尤其适合需要从视觉动态中学习规则、做决策和规划的任务。

🔬 语宙深潜追问 · 进阶实操拆解
无标注视频训练的关键瓶颈是什么?

核心瓶颈是时序对齐、长程信用分配和可验证目标稀缺。要想落地,通常需要把视频任务拆成可监督的子目标,配合自监督预训练与少量任务微调,才能把“会看”变成“会做”。

它在机器人控制里怎么接入现有系统?

更适合做高层规划或策略建议,而不是直接替代底层控制器。实际部署时应保留安全约束、动作限幅和失败回退机制,用模型输出指导决策,再由传统控制栈执行。

🗳️ 读者观点微投票 · 您的实战立场是?
VideoWorld 只看视频学推理,真能落地吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • Vid2World:清华重大突破!视频扩散模型秒变交互式世界模型,机器人、游戏开发迎来新范式
  • 阿里达摩院重磅发布WorldVLA:统一视觉-语言-动作模型,让机器人“既会看又会动”
  • LiveWorld – 阿德莱德大学等推出的生成式视频世界模型
  • Matrix-Game – 昆仑万维开源的工业界首个空间智能大模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Tailor – 免费开源的AI视频编辑工具
福布斯采访 Notion 创始人:用“乐高”式创新挑战 Google Docs 和 Microsoft Office [译]
VideoCrafter2 – 腾讯推出的高质量视频生成模型
AlphaFold 3 揭示生命分子的秘密结构及其相互作用 – Isomorphic 实验室 [译]
[AI生图咒语] 3D微缩极简红白国庆建筑海报
TAGGED:3D与空间智能AI智能体AI视频生成开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 amis – 百度开源的低代码前端框架 amis – 百度开源的低代码前端框架
下一篇 Mistral Small 3 – Mistral AI 推出的开源大语言模型 Mistral Small 3 – Mistral AI 推出的开源大语言模型
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

字节跳动Depth Anything 3发布:单一Transformer架构突破三维空间重建,精度与速度双领先
AI 工具AIGC 资讯

字节跳动Depth Anything 3发布:单一Transformer架构突破三维空间重建,精度与速度双领先

Prompt 语宙研究院
Depth Anything 3 Transformer 三维空间重建 字节跳动 计算机视觉
Ornith-1.0 – DeepReinforce 开源的 Agentic 编程系列模型
AIGC 资讯

Ornith-1.0 – DeepReinforce 开源的 Agentic 编程系列模型

Prompt 语宙研究院
AI智能体 AI编程 Claude OpenAI 通义千问
ChatABC
AI 工具

ChatABC

remaker
AI办公效率 AI智能体 ChatGPT OpenAI
WebDreamer – 基于大语言模型模拟网页交互增强网络规划能力的框架
AIGC 资讯

WebDreamer – 基于大语言模型模拟网页交互增强网络规划能力的框架

Prompt 语宙研究院
3D与空间智能 AI办公效率 AI智能体 ChatGPT OpenAI
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.