# VerseCrafter：复旦腾讯联手开源，4D几何控制重塑动态视频生成新范式

- Link: https://paooo.com/aigc-news/11895/
- Published: 2026-06-13T06:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于Wan2.1主干与GeoAdapter，VerseCrafter把4D控制信号轻量注入生成框架，实现精确
   可控视频生成。
 * 支持相机单控、目标单控与联合控制，并能保持多视角一致性，适合复杂动态场景。
 * 依托VerseControl4D数据集训练，模型在真实世界动态与静态场景中具备更强泛化与几何
   一致性。

> **💡 站外导读：**在AIGC浪潮席卷全球的今天，如何从静态图像生成跃升至对动态场景的
> 精准控制，是视频生成领域的核心痛点。传统模型常面临视角漂移、物体运动失真等难题，
> 难以满足虚拟现实、游戏开发等应用对高一致性动态内容的需求。VerseCrafter应运而生，
> 作为复旦与腾讯的开源力作，它首次将4D几何控制能力融入视频世界模型，旨在彻底解决
> 动态场景生成中的时空一致性瓶颈，为下一代沉浸式内容创作铺平道路。

## VerseCrafter是什么

VerseCrafter 是复旦大学与腾讯 PCG ARC Lab 等机构推出的动态真实视频世界模型，具备
4D 几何控制能力。模型基于大规模真实世界数据集 VerseControl4D 训练，能处理复杂动态
场景，保持强时空一致性。用户能指定相机轨迹和目标轨迹，生成高质量、几何一致的视频。
模型能在视频生成、虚拟现实和游戏开发等领域具有广阔的应用前景。

阅读目录

 * [VerseCrafter是什么](https://paooo.com/aigc-news/11895/#versecrafter%e6%98%af%e4%bb%80%e4%b9%88)
 * [VerseCrafter的主要功能](https://paooo.com/aigc-news/11895/#versecrafter%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [VerseCrafter的技术原理](https://paooo.com/aigc-news/11895/#versecrafter%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [VerseCrafter的项目地址](https://paooo.com/aigc-news/11895/#versecrafter%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [VerseCrafter的应用场景](https://paooo.com/aigc-news/11895/#versecrafter%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/11895/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![VerseCrafter](https://paooo.com/wp-content/uploads/2026/05/VerseCrafter-website-
1.avif)

## VerseCrafter的主要功能

 * **4D几何控制**：用户能通过指定相机轨迹和多目标的3D高斯轨迹，实现对视频中视角和
   物体运动的精确控制。
 * **灵活的控制模式**：模型支持相机单独控制、目标单独控制及相机与目标的联合控制，
   满足不同场景需求。
 * **高质量视频生成**：在保持视频真实感的同时，确保生成视频的几何一致性，避免失真。
 * **多视角一致性**：模型能从不同视角生成一致的视频内容，适用多人交互场景。
 * **大规模数据支持**：基于VerseControl4D数据集训练，涵盖动态和静态场景，提升模型
   的泛化能力。

## VerseCrafter的技术原理

 * **冻结的Wan2.1主干网络**：模型采用预训练的[Wan2.1](https://ai-bot.cn/wan2-1/)
   作为基础模型，保持强大的视频生成能力和泛化能力，同时在Wan2.1基础上注入几何控制
   信号。
 * **GeoAdapter**：一个轻量级的几何适配器，将4D控制信号（相机轨迹和3D高斯轨迹）编码
   为多通道地图，注入到Wan2.1的扩散块中，实现精确控制。
 * **4D控制信号渲染**：将相机轨迹和目标轨迹渲染为背景RGB/深度图和3D高斯轨迹图，作为
   条件信号输入到生成模型中。
 * **VerseControl4D数据集**：通过大规模真实世界视频数据，提取相机轨迹和目标轨迹，
   为模型训练提供丰富的几何监督，支持动态和静态场景的生成。

## VerseCrafter的项目地址

 * **项目官网**：https://sixiaozheng.github.io/VerseCrafter_page/
 * **GitHub仓库**：https://github.com/TencentARC/VerseCrafter
 * **HuggingFace模型库**：https://huggingface.co/TencentARC/VerseCrafter
 * **arXiv技术论文**：https://arxiv.org/pdf/2601.05138

## VerseCrafter的应用场景

 * **虚拟现实（VR）和增强现实（AR）**：VerseCrafter 可构建沉浸式虚拟世界，支持用户
   通过相机和物体运动控制实时探索场景，提升交互体验。
 * **游戏开发**：为游戏生成动态背景和物体运动，优化视角切换和渲染效果，降低开发成本。
 * **视频内容创作**：创作者用 VerseCrafter 快速生成高质量动态视频，满足广告、电影
   和动画制作中的创意需求。
 * **教育与培训**：VerseCrafter 能创建逼真的虚拟教学场景，如历史重现和科学实验模拟，
   提升学生的学习兴趣和参与度。
 * **娱乐与媒体**：用于开发互动式视频内容，如选择式剧情视频，观众可通过控制视角和
   物体运动改变故事走向。

#### 📝 站长洞察 (Editor’s Insight)

VerseCrafter的发布，标志着视频生成技术从‘内容创造’向‘世界模拟’的关键一步。其核心
价值在于将复杂的4D几何控制信号轻量化注入现有生成框架（Wan2.1），这体现了‘小模块、
大能力’的工程哲学，极具行业启发性。结合VerseControl4D数据集，模型展现了强大的泛化
与控制力，这直接回应了当前多模态[大模型](https://paooo.com/ai-study/)在具身智能、
世界模型构建上的核心需求。从趋势看，它不仅是工具升级，更是范式预演：未来的内容创作、
虚拟交互乃至自动驾驶仿真，都将依赖于此类能精确理解并操纵物理世界动态的生成模型。
开源生态的建立（GitHub、HuggingFace）将加速这一进程，推动学术界与产业界在‘可控生成’
这一前沿阵地的深度融合。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

**Arc Lab ↗**

Arc Lab 是腾讯公司旗下专注于前沿AI技术探索的研究实验室，其核心功能并非面向终端用户
的单一工具，而是一个

❓ 常见问题解答（FAQ）

VerseCrafter是什么模型？

VerseCrafter是复旦大学与腾讯PCG ARC Lab等机构推出的动态真实视频世界模型，核心能力
是4D几何控制。它可结合相机轨迹和目标轨迹生成高质量、几何一致的视频，面向视频生成、
VR和游戏开发等场景。

VerseCrafter如何实现4D控制？

它以冻结的Wan2.1为主干，通过轻量级GeoAdapter把相机轨迹和3D高斯轨迹等4D信号编码成
多通道地图，再注入扩散块中，从而实现对视角和物体运动的精确控制。

VerseCrafter适合哪些应用场景？

适合虚拟现实、增强现实、游戏开发、视频内容创作、教育培训和互动媒体等场景。其优势
在于能生成时空一致、可控性强的动态视频，降低复杂动态内容的制作门槛。

🔬 语宙深潜追问 · 进阶实操拆解

4D几何控制怎么提升时空一致性？

核心是把相机轨迹和目标轨迹显式注入生成过程，让模型不只学“像什么”，还学“怎么动”。
在训练时加入几何约束和跨帧一致性损失，可显著减少漂移、穿模和镜头跳变。

创作者该怎么把它用到实拍流程？

可先把分镜拆成相机运动、主体路径和关键帧三层控制，再用少量参考视频校准风格；对 VR、
游戏预告片和广告短片尤其有效，但前期要准备更规范的轨迹标注和镜头规划。

🗳️ 读者观点微投票 · 您的实战立场是？

4D几何控制会重塑视频生成吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

 * [ViewCrafter – 北大、港中文联合腾讯提出的高保真新视图合成技术](https://paooo.com/aigc-news/27018/)
 * [TrajectoryCrafter – 腾讯和港中文推出的单目视频自由运镜技术](https://paooo.com/aigc-news/21164/)
 * [VideoCrafter2 – 腾讯推出的高质量视频生成模型](https://paooo.com/aigc-news/28415/)
 * [StereoCrafter – 腾讯开源将任意2D视频转为立体3D视频的框架](https://paooo.com/aigc-news/24493/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/11895/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
