Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: TrajectoryCrafter – 腾讯和港中文推出的单目视频自由运镜技术
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
TrajectoryCrafter – 腾讯和港中文推出的单目视频自由运镜技术
Prompt 语宙 > AIGC 资讯 > TrajectoryCrafter – 腾讯和港中文推出的单目视频自由运镜技术
AIGC 资讯

TrajectoryCrafter – 腾讯和港中文推出的单目视频自由运镜技术

Prompt 语宙研究院
最近更新: 2026年6月8日 下午2:30
3D与空间智能 AI视频生成 HuggingFace 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 支持平移、旋转、缩放等任意相机轨迹控制,把单目视频后期改成想要的运镜效果。
  • 双流条件扩散模型结合点云渲染与源视频细节注入,兼顾几何准确性和画面保真度。
  • 混合数据集与双重重投影训练提升泛化能力,适用于VR、创作、会议与自动驾驶等场景。

TrajectoryCrafter是什么

TrajectoryCrafter 是腾讯PCG ARC Lab和香港中文大学推出的,用在单目视频的相机轨迹重定向方法,支持在后期自由调整视频的相机位置和角度,轻松改变视频中的运镜方式。TrajectoryCrafter基于解耦视图变换和内容生成,用双流条件视频扩散模型,将点云渲染和源视频作为条件,实现对用户指定相机轨迹的精确控制和高质量的 4D 内容生成。TrajectoryCrafte用创新的双重重投影策略和混合数据集(结合动态单目视频与静态多视角数据)训练模型,显著提升在多样化场景中的泛化能力。TrajectoryCrafter 在多视角和大规模单目视频数据集上表现出色,能生成高保真、与源视频一致的新型轨迹视频,为沉浸式视频体验提供新的可能性。

阅读目录
  • TrajectoryCrafter是什么
  • TrajectoryCrafter的主要功能
  • TrajectoryCrafter的技术原理
  • TrajectoryCrafter的项目地址
  • TrajectoryCrafter的应用场景

TrajectoryCrafter

TrajectoryCrafter的主要功能

  • 精确轨迹控制:用户指定任意相机轨迹(如平移、旋转、缩放等),生成与之匹配的视频内容。
  • 高保真视频生成:生成的视频在视觉上与原始视频保持一致,具备高质量的细节和纹理。
  • 4D一致性:生成的视频在空间上与目标轨迹一致,在时间上与原始视频保持连贯性,避免内容漂移或闪烁。
  • 多样化场景泛化:模型能适应各种场景,包括室内、室外、动态场景等,具有良好的泛化能力。

TrajectoryCrafter的技术原理

  • 双流条件视频扩散模型:
    • 解耦视图变换与内容生成:将相机轨迹的确定性变换与内容生成的随机性分开处理。基于点云渲染实现精确的视图变换,用视频扩散模型生成高质量的内容。
    • 双流条件机制:模型包含两个条件输入:点云渲染(用在精确控制视图变换)和源视频(用在提供细节和纹理)。用独特的Ref-DiT模块(参考条件扩散变换器),将源视频的细节信息通过交叉注意力机制注入到生成过程中,提升生成视频的保真度。
  • 动态点云渲染:深度估计将单目视频转换为动态点云,根据用户指定的相机轨迹渲染新视图。点云渲染准确捕捉几何关系和视图变换,提供几何指导。
  • 混合数据集与训练策略:用混合数据集策略,结合网络规模的单目视频和静态多视角数据集进行训练。对于单目视频,用双重重投影策略生成大规模的训练样本。具体方法是将视频通过深度估计提升为点云,渲染新视图后再重新投影回原始视角,模拟点云渲染的效果。模型用两阶段训练策略,第一阶段专注于视图变换的准确性和缺失区域的合成;第二阶段用多视角数据集训练,提升生成视频与源视频的一致性。

TrajectoryCrafter的项目地址

  • 项目官网:https://trajectorycrafter.github.io/
  • GitHub仓库:https://github.com/TrajectoryCrafter/TrajectoryCrafter
  • arXiv技术论文:https://arxiv.org/pdf/2503.05638
  • 在线体验Demo:https://huggingface.co/spaces/Doubiiu/TrajectoryCrafter

TrajectoryCrafter的应用场景

  • 沉浸式娱乐:用在VR/AR,让用户自由切换视角,增强沉浸感。
  • 创意视频制作:帮助影视、短视频创作者添加新视角效果,提升内容吸引力。
  • 智能视频会议:动态调整会议视角,聚焦特定区域或人员,提升交互性。
  • 自动驾驶与机器人:生成多视角驾驶或导航场景,用在训练和测试算法。
  • 教育与培训:创建多视角教学视频,帮助学生更好地理解和学习。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
Arc Lab ↗
Arc Lab 是腾讯公司旗下专注于前沿AI技术探索的研究实验室,其核心功能并非面向终端用户的单一工具,而是一个
❓ 常见问题解答(FAQ)
TrajectoryCrafter能做什么?

它是一种单目视频相机轨迹重定向方法,能在后期自由调整视频的相机位置和角度,按指定轨迹生成新视角视频,同时尽量保持原视频的内容、纹理和时间连贯性。

TrajectoryCrafter为什么能保证画面一致性?

核心在于将视图变换与内容生成解耦:先用点云渲染提供几何约束,再用双流条件视频扩散模型和Ref-DiT注入源视频细节,从而提升保真度并减少漂移、闪烁。

TrajectoryCrafter适合哪些应用场景?

适合沉浸式娱乐、创意视频制作、智能视频会议、自动驾驶与机器人训练,以及教育培训等需要多视角展示或自由运镜的场景。

🔬 语宙深潜追问 · 进阶实操拆解
双流条件扩散怎么落地到现有管线?

通常把轨迹、深度/光流等几何条件与视频内容分支分开编码,再在去噪阶段融合。落地时重点是轨迹采样、时序一致性损失和重投影约束,先在短片段上验证,再扩到长视频。

单目视频做自由运镜最难的瓶颈是什么?

核心瓶颈是遮挡补全和4D一致性:相机一动就会暴露原视频没拍到的区域。实战上要结合大规模单目预训练、显式几何约束和多视角数据增强,才能减少漂移、拉扯和闪烁。

🗳️ 读者观点微投票 · 您的实战立场是?
自由运镜该优先追求真实感还是可控性?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • ReCamMaster – 浙大联合快手等推出的视频重渲染框架
  • 彻底终结绕圈变脸与视角漂移!武汉大学联合小米开源WorldCast:首创点云轨迹对齐与GAMA几何记忆注意力、360度环绕角色一致性架构全景深度拆解
  • StereoCrafter – 腾讯开源将任意2D视频转为立体3D视频的框架
  • CustomCrafter – 腾讯联合浙大推出的自定义视频生成框架
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Anthropic 全量开放 Claude Opus 5.5 极速模式:吞吐暴涨 2.5 倍,底层架构优化与长会话空闲压缩实测
AI编码圈再传重磅:瑞典新星Lovable估值或将翻倍至 132 亿美元
MAI-Thinking-1 – 微软推出的首款自研高级推理模型
JoyGen – 京东和港大推出音频驱动的3D说话人脸视频生成框架
谷歌重磅开源MedGemma 1.5:多模态AI医疗模型革新影像诊断与临床决策
TAGGED:3D与空间智能AI视频生成HuggingFace开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Gemini 2.5 Pro (I/O 版) – 谷歌推出的升级版多模态AI模型 Gemini 2.5 Pro (I/O 版) – 谷歌推出的升级版多模态AI模型
下一篇 Indic Parler-TTS – 开源多语言TTS模型,专注于合成印度语和英语 Indic Parler-TTS – 开源多语言TTS模型,专注于合成印度语和英语
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

Amazon Nova Act – 亚马逊推出的通用 AI 智能体,自主执行网页任务
AIGC 资讯

Amazon Nova Act – 亚马逊推出的通用 AI 智能体,自主执行网页任务

Prompt 语宙研究院
AI办公效率 AI智能体 AI编程 亚马逊
Kiroku – 多智能体系统,模拟学生与导师间互动、组织和撰写文档
AIGC 资讯

Kiroku – 多智能体系统,模拟学生与导师间互动、组织和撰写文档

Prompt 语宙研究院
AI办公效率 AI智能体 开源大模型
ColorMagic
AI 工具

ColorMagic

remaker
AI办公效率 AI智能体 AI绘画提示词 开源大模型
小红书开源OpenStoryline:首个具备导演思维的视频剪辑Agent,自然语言对话实现全流程AI创作
AI 工具AIGC 资讯

小红书开源OpenStoryline:首个具备导演思维的视频剪辑Agent,自然语言对话实现全流程AI创作

Prompt 语宙研究院
AIGC MCP协议 小红书开源 自然语言处理 视频剪辑Agent
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.