# TrajectoryCrafter – 腾讯和港中文推出的单目视频自由运镜技术

- Link: https://paooo.com/aigc-news/21164/
- Published: 2026-06-08T14:30:50+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 支持平移、旋转、缩放等任意相机轨迹控制，把单目视频后期改成想要的运镜效果。
 * 双流条件扩散模型结合点云渲染与源视频细节注入，兼顾几何准确性和画面保真度。
 * 混合数据集与双重重投影训练提升泛化能力，适用于VR、创作、会议与自动驾驶等场景。

## TrajectoryCrafter是什么

TrajectoryCrafter 是腾讯PCG ARC Lab和香港中文大学推出的，用在单目视频的相机轨迹重
定向方法，支持在后期自由调整视频的相机位置和角度，轻松改变视频中的运镜方式。TrajectoryCrafter
基于解耦视图变换和内容生成，用双流条件视频扩散模型，将点云渲染和源视频作为条件，
实现对用户指定相机轨迹的精确控制和高质量的 4D 内容生成。TrajectoryCrafte用创新的
双重重投影策略和混合数据集（结合动态单目视频与静态多视角数据）训练模型，显著提升
在多样化场景中的泛化能力。TrajectoryCrafter 在多视角和大规模单目视频数据集上表现
出色，能生成高保真、与源视频一致的新型轨迹视频，为沉浸式视频体验提供新的可能性。

阅读目录

 * [TrajectoryCrafter是什么](https://paooo.com/aigc-news/21164/#trajectorycrafter%e6%98%af%e4%bb%80%e4%b9%88)
 * [TrajectoryCrafter的主要功能](https://paooo.com/aigc-news/21164/#trajectorycrafter%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [TrajectoryCrafter的技术原理](https://paooo.com/aigc-news/21164/#trajectorycrafter%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [TrajectoryCrafter的项目地址](https://paooo.com/aigc-news/21164/#trajectorycrafter%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [TrajectoryCrafter的应用场景](https://paooo.com/aigc-news/21164/#trajectorycrafter%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![TrajectoryCrafter](https://paooo.com/wp-content/uploads/2026/06/TrajectoryCrafter-
website-1.avif)

## TrajectoryCrafter的主要功能

 * **精确轨迹控制**：用户指定任意相机轨迹（如平移、旋转、缩放等），生成与之匹配的
   视频内容。
 * **高保真视频生成**：生成的视频在视觉上与原始视频保持一致，具备高质量的细节和纹
   理。
 * **4D一致性**：生成的视频在空间上与目标轨迹一致，在时间上与原始视频保持连贯性，
   避免内容漂移或闪烁。
 * **多样化场景泛化**：模型能适应各种场景，包括室内、室外、动态场景等，具有良好的
   泛化能力。

## TrajectoryCrafter的技术原理

 * **双流条件视频扩散模型**：
    - **解耦视图变换与内容生成**：将相机轨迹的确定性变换与内容生成的随机性分开处理。
      基于点云渲染实现精确的视图变换，用视频扩散模型生成高质量的内容。
    - **双流条件机制**：模型包含两个条件输入：点云渲染（用在精确控制视图变换）和
      源视频（用在提供细节和纹理）。用独特的Ref-DiT模块（参考条件扩散变换器），将
      源视频的细节信息通过交叉注意力机制注入到生成过程中，提升生成视频的保真度。
 * **动态点云渲染**：深度估计将单目视频转换为动态点云，根据用户指定的相机轨迹渲染
   新视图。点云渲染准确捕捉几何关系和视图变换，提供几何指导。
 * **混合数据集与训练策略**：用混合数据集策略，结合网络规模的单目视频和静态多视角
   数据集进行训练。对于单目视频，用双重重投影策略生成大规模的训练样本。具体方法是
   将视频通过深度估计提升为点云，渲染新视图后再重新投影回原始视角，模拟点云渲染的
   效果。模型用两阶段训练策略，第一阶段专注于视图变换的准确性和缺失区域的合成；第二
   阶段用多视角数据集训练，提升生成视频与源视频的一致性。

## TrajectoryCrafter的项目地址

 * **项目官网**：[https://trajectorycrafter.github.io/](https://trajectorycrafter.github.io/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/TrajectoryCrafter/TrajectoryCrafter](https://github.com/TrajectoryCrafter/TrajectoryCrafter)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2503.05638](https://arxiv.org/pdf/2503.05638)
 * **在线体验Demo**：[https://huggingface.co/spaces/Doubiiu/TrajectoryCrafter](https://huggingface.co/spaces/Doubiiu/TrajectoryCrafter)

## TrajectoryCrafter的应用场景

 * **沉浸式娱乐**：用在VR/AR，让用户自由切换视角，增强沉浸感。
 * **创意视频制作**：帮助影视、短视频创作者添加新视角效果，提升内容吸引力。
 * **智能视频会议**：动态调整会议视角，聚焦特定区域或人员，提升交互性。
 * **自动驾驶与机器人**：生成多视角驾驶或导航场景，用在训练和测试算法。
 * **教育与培训**：创建多视角教学视频，帮助学生更好地理解和学习。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

**Arc Lab ↗**

Arc Lab 是腾讯公司旗下专注于前沿AI技术探索的研究实验室，其核心功能并非面向终端用户
的单一工具，而是一个

❓ 常见问题解答（FAQ）

TrajectoryCrafter能做什么？

它是一种单目视频相机轨迹重定向方法，能在后期自由调整视频的相机位置和角度，按指定
轨迹生成新视角视频，同时尽量保持原视频的内容、纹理和时间连贯性。

TrajectoryCrafter为什么能保证画面一致性？

核心在于将视图变换与内容生成解耦：先用点云渲染提供几何约束，再用双流条件视频扩散
模型和Ref-DiT注入源视频细节，从而提升保真度并减少漂移、闪烁。

TrajectoryCrafter适合哪些应用场景？

适合沉浸式娱乐、创意视频制作、智能视频会议、自动驾驶与机器人训练，以及教育培训等
需要多视角展示或自由运镜的场景。

🔬 语宙深潜追问 · 进阶实操拆解

双流条件扩散怎么落地到现有管线？

通常把轨迹、深度/光流等几何条件与视频内容分支分开编码，再在去噪阶段融合。落地时重点
是轨迹采样、时序一致性损失和重投影约束，先在短片段上验证，再扩到长视频。

单目视频做自由运镜最难的瓶颈是什么？

核心瓶颈是遮挡补全和4D一致性：相机一动就会暴露原视频没拍到的区域。实战上要结合大规模
单目预训练、显式几何约束和多视角数据增强，才能减少漂移、拉扯和闪烁。

🗳️ 读者观点微投票 · 您的实战立场是？

自由运镜该优先追求真实感还是可控性？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [ReCamMaster – 浙大联合快手等推出的视频重渲染框架](https://paooo.com/aigc-news/20933/)
 * [彻底终结绕圈变脸与视角漂移！武汉大学联合小米开源WorldCast：首创点云轨迹对齐与GAMA几何记忆注意力、360度环绕角色一致性架构全景深度拆解](https://paooo.com/ai-tool/41599/)
 * [StereoCrafter – 腾讯开源将任意2D视频转为立体3D视频的框架](https://paooo.com/aigc-news/24493/)
 * [CustomCrafter – 腾讯联合浙大推出的自定义视频生成框架](https://paooo.com/aigc-news/27147/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21164/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
