Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: VerseCrafter:复旦腾讯联手开源,4D几何控制重塑动态视频生成新范式
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
VerseCrafter:复旦腾讯联手开源,4D几何控制重塑动态视频生成新范式
Prompt 语宙 > AI 工具 > VerseCrafter:复旦腾讯联手开源,4D几何控制重塑动态视频生成新范式
AI 工具AIGC 资讯

VerseCrafter:复旦腾讯联手开源,4D几何控制重塑动态视频生成新范式

Prompt 语宙研究院
最近更新: 2026年6月7日 下午8:08
4D几何控制 VerseCrafter 复旦大学 腾讯 视频生成
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 基于Wan2.1主干与GeoAdapter,VerseCrafter把4D控制信号轻量注入生成框架,实现精确可控视频生成。
  • 支持相机单控、目标单控与联合控制,并能保持多视角一致性,适合复杂动态场景。
  • 依托VerseControl4D数据集训练,模型在真实世界动态与静态场景中具备更强泛化与几何一致性。

💡 站外导读:在AIGC浪潮席卷全球的今天,如何从静态图像生成跃升至对动态场景的精准控制,是视频生成领域的核心痛点。传统模型常面临视角漂移、物体运动失真等难题,难以满足虚拟现实、游戏开发等应用对高一致性动态内容的需求。VerseCrafter应运而生,作为复旦与腾讯的开源力作,它首次将4D几何控制能力融入视频世界模型,旨在彻底解决动态场景生成中的时空一致性瓶颈,为下一代沉浸式内容创作铺平道路。

VerseCrafter是什么

VerseCrafter 是复旦大学与腾讯 PCG ARC Lab 等机构推出的动态真实视频世界模型,具备 4D 几何控制能力。模型基于大规模真实世界数据集 VerseControl4D 训练,能处理复杂动态场景,保持强时空一致性。用户能指定相机轨迹和目标轨迹,生成高质量、几何一致的视频。模型能在视频生成、虚拟现实和游戏开发等领域具有广阔的应用前景。

阅读目录
  • VerseCrafter是什么
  • VerseCrafter的主要功能
  • VerseCrafter的技术原理
  • VerseCrafter的项目地址
  • VerseCrafter的应用场景
      • 📝 站长洞察 (Editor’s Insight)

VerseCrafter

VerseCrafter的主要功能

  • 4D几何控制:用户能通过指定相机轨迹和多目标的3D高斯轨迹,实现对视频中视角和物体运动的精确控制。
  • 灵活的控制模式:模型支持相机单独控制、目标单独控制及相机与目标的联合控制,满足不同场景需求。
  • 高质量视频生成:在保持视频真实感的同时,确保生成视频的几何一致性,避免失真。
  • 多视角一致性:模型能从不同视角生成一致的视频内容,适用多人交互场景。
  • 大规模数据支持:基于VerseControl4D数据集训练,涵盖动态和静态场景,提升模型的泛化能力。

VerseCrafter的技术原理

  • 冻结的Wan2.1主干网络:模型采用预训练的Wan2.1作为基础模型,保持强大的视频生成能力和泛化能力,同时在Wan2.1基础上注入几何控制信号。
  • GeoAdapter:一个轻量级的几何适配器,将4D控制信号(相机轨迹和3D高斯轨迹)编码为多通道地图,注入到Wan2.1的扩散块中,实现精确控制。
  • 4D控制信号渲染:将相机轨迹和目标轨迹渲染为背景RGB/深度图和3D高斯轨迹图,作为条件信号输入到生成模型中。
  • VerseControl4D数据集:通过大规模真实世界视频数据,提取相机轨迹和目标轨迹,为模型训练提供丰富的几何监督,支持动态和静态场景的生成。

VerseCrafter的项目地址

  • 项目官网:https://sixiaozheng.github.io/VerseCrafter_page/
  • GitHub仓库:https://github.com/TencentARC/VerseCrafter
  • HuggingFace模型库:https://huggingface.co/TencentARC/VerseCrafter
  • arXiv技术论文:https://arxiv.org/pdf/2601.05138

VerseCrafter的应用场景

  • 虚拟现实(VR)和增强现实(AR):VerseCrafter 可构建沉浸式虚拟世界,支持用户通过相机和物体运动控制实时探索场景,提升交互体验。
  • 游戏开发:为游戏生成动态背景和物体运动,优化视角切换和渲染效果,降低开发成本。
  • 视频内容创作:创作者用 VerseCrafter 快速生成高质量动态视频,满足广告、电影和动画制作中的创意需求。
  • 教育与培训:VerseCrafter 能创建逼真的虚拟教学场景,如历史重现和科学实验模拟,提升学生的学习兴趣和参与度。
  • 娱乐与媒体:用于开发互动式视频内容,如选择式剧情视频,观众可通过控制视角和物体运动改变故事走向。

📝 站长洞察 (Editor’s Insight)

VerseCrafter的发布,标志着视频生成技术从‘内容创造’向‘世界模拟’的关键一步。其核心价值在于将复杂的4D几何控制信号轻量化注入现有生成框架(Wan2.1),这体现了‘小模块、大能力’的工程哲学,极具行业启发性。结合VerseControl4D数据集,模型展现了强大的泛化与控制力,这直接回应了当前多模态大模型在具身智能、世界模型构建上的核心需求。从趋势看,它不仅是工具升级,更是范式预演:未来的内容创作、虚拟交互乃至自动驾驶仿真,都将依赖于此类能精确理解并操纵物理世界动态的生成模型。开源生态的建立(GitHub、HuggingFace)将加速这一进程,推动学术界与产业界在‘可控生成’这一前沿阵地的深度融合。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
Arc Lab ↗
Arc Lab 是腾讯公司旗下专注于前沿AI技术探索的研究实验室,其核心功能并非面向终端用户的单一工具,而是一个
❓ 常见问题解答(FAQ)
VerseCrafter是什么模型?

VerseCrafter是复旦大学与腾讯PCG ARC Lab等机构推出的动态真实视频世界模型,核心能力是4D几何控制。它可结合相机轨迹和目标轨迹生成高质量、几何一致的视频,面向视频生成、VR和游戏开发等场景。

VerseCrafter如何实现4D控制?

它以冻结的Wan2.1为主干,通过轻量级GeoAdapter把相机轨迹和3D高斯轨迹等4D信号编码成多通道地图,再注入扩散块中,从而实现对视角和物体运动的精确控制。

VerseCrafter适合哪些应用场景?

适合虚拟现实、增强现实、游戏开发、视频内容创作、教育培训和互动媒体等场景。其优势在于能生成时空一致、可控性强的动态视频,降低复杂动态内容的制作门槛。

🔬 语宙深潜追问 · 进阶实操拆解
4D几何控制怎么提升时空一致性?

核心是把相机轨迹和目标轨迹显式注入生成过程,让模型不只学“像什么”,还学“怎么动”。在训练时加入几何约束和跨帧一致性损失,可显著减少漂移、穿模和镜头跳变。

创作者该怎么把它用到实拍流程?

可先把分镜拆成相机运动、主体路径和关键帧三层控制,再用少量参考视频校准风格;对 VR、游戏预告片和广告短片尤其有效,但前期要准备更规范的轨迹标注和镜头规划。

🗳️ 读者观点微投票 · 您的实战立场是?
4D几何控制会重塑视频生成吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
  • ViewCrafter – 北大、港中文联合腾讯提出的高保真新视图合成技术
  • TrajectoryCrafter – 腾讯和港中文推出的单目视频自由运镜技术
  • VideoCrafter2 – 腾讯推出的高质量视频生成模型
  • StereoCrafter – 腾讯开源将任意2D视频转为立体3D视频的框架
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
OuteTTS – 开源的文本到语音合成项目,基于纯语言建模方法生成语音
SynthID – DeepMind推出能嵌入数字水印和检测AI生成内容的工具
Steam玩家对AI没那么抗拒:43%表示可以接受,仅8%绝对不碰
仅激活 4B 参数搞定意图与槽位抽取!星辰实验室开源 Xing4.0-29B-Intent:首创 USP 统一解析框架与百毫秒级 Agent 语义入口深度拆解
Goose:Block开源本地AI Agent框架,自主Debug、多模型切换,颠覆传统开发!
TAGGED:4D几何控制VerseCrafter复旦大学腾讯视频生成
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 英伟达开源PersonaPlex全双工语音AI模型:同时听和说,角色可定制,重新定义人机交互 英伟达开源PersonaPlex全双工语音AI模型:同时听和说,角色可定制,重新定义人机交互
下一篇 Playwriter:开源AI浏览器自动化神器,解决登录验证难题,节省80% Token消耗 Playwriter:开源AI浏览器自动化神器,解决登录验证难题,节省80% Token消耗
Ad image
Ad image

最近更新

Latent Space 对话 Black Forest Labs 核心创始人 Andreas Blattmann 与 Dustin Podell:从 FLUX 到视觉智能与世界动作模型
视觉智能为什么不能只靠静态图片?对话Black Forest Labs创始人:FLUX 3音画联合训练、扩散与自回归之争及世界动作模型全拆解
强化 AI 学习
Google 官方详解网站迁移至 CDN 如何避免爬虫流量激增打崩源站与误封 Googlebot 导致搜索掉收录
刚切上CDN源站反被爬虫打崩?Google官方拆解迁移翻车悖论:冷缓存雪崩、验证码误杀与预热止血指南
AI 工具
GitHub 正式上线 Repository insights 页面,集中展示 Copilot 代码审查采纳率与评论分类统计结果
AI代码审查到底有没有被采纳?GitHub上线Repository insights与repos-1-day API:四维信号、力度趋势及统计陷阱全拆解
AI 工具
Forrester AI 颠覆评估模型 17 大技术与服务品类分布图:呈现受颠覆、中立、争夺与加速四类市场象限及细分赛道数量
80%技术市场面临AI重塑冲击!Forrester拆解200+细分赛道颠覆矩阵:四大象限与Top 20合同采购谈判实战
最新趋势

相关推荐

GLM-5.1-HighSpeed 震撼发布:400 tokens/s 极速引擎,智谱AI如何重新定义大模型速度天花板?
AI 工具AIGC 资讯

GLM-5.1-HighSpeed 震撼发布:400 tokens/s 极速引擎,智谱AI如何重新定义大模型速度天花板?

Prompt 语宙研究院
AI推理加速 Coding Agent GLM-5.1 大模型API 智谱AI
阿里通义开源Mobile-Agent-v3.5:跨平台GUI Agent框架,从演示级迈向工程级
AI 工具AIGC 资讯

阿里通义开源Mobile-Agent-v3.5:跨平台GUI Agent框架,从演示级迈向工程级

Prompt 语宙研究院
GUI Agent GUI-Owl-1.5 Mobile-Agent MRPO算法 阿里通义
OpenMath-Nemotron – 英伟达开源的数学推理系列模型
AIGC 资讯

OpenMath-Nemotron – 英伟达开源的数学推理系列模型

Prompt 语宙研究院
AI智能体 DeepSeek HuggingFace 大模型微调 开源大模型
英伟达砸15亿美元联手Amkor扩产先进封装 提前卡位AI算力供应链
AIGC 资讯

英伟达砸15亿美元联手Amkor扩产先进封装 提前卡位AI算力供应链

Prompt 语宙研究院
AI办公效率 AI智能体 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.