# VideoMaker – 浙大联合腾讯和华为推出的零样本定制视频生成框架

- Link: https://paooo.com/aigc-news/23475/
- Published: 2026-06-09T17:37:43+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于VDM内在能力做零样本定制，直接从参考图提取并注入主题特征。
 * 通过空间自注意力机制实现帧级特征交互，兼顾主题一致性与视频多样性。
 * 无需复杂再训练，适合影视预演、产品展示、定制广告和教学视频生成。

## VideoMaker是什么

VideoMaker是浙江大学、腾讯和华为诺亚方舟实验室共同开发的创新项目，基于视频扩散模型（
VDM）的零样本定制视频生成框架。与传统方法不同，VideoMaker无需额外模型即可直接从参考
图片中提取和注入主题特征，实现个性化视频内容的一键生成。框架基于VDM的内在能力进行
细粒度特征提取，通过空间自注意力机制实现特征注入，保证了视频生成的多样性和主题一致性。
VideoMaker在保持视频多样性的同时，确保了与参考图片中的主题特征高度契合，为个性化
视频创作带来了极大的便捷性和灵活性。

阅读目录

 * [VideoMaker是什么](https://paooo.com/aigc-news/23475/#videomaker%e6%98%af%e4%bb%80%e4%b9%88)
 * [VideoMaker的主要功能](https://paooo.com/aigc-news/23475/#videomaker%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [VideoMaker的技术原理](https://paooo.com/aigc-news/23475/#videomaker%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [VideoMaker的项目地址](https://paooo.com/aigc-news/23475/#videomaker%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [VideoMaker的应用场景](https://paooo.com/aigc-news/23475/#videomaker%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![VideoMaker – 浙大联合腾讯和华为推出的零样本定制视频生成框架 - 配图](https://paooo.
com/wp-content/uploads/2026/06/VideoMaker-website-1.avif)

## VideoMaker的主要功能

 * **细粒度特征提取**：VideoMaker能够直接利用视频扩散模型（VDM）的内在能力，从提供
   的参考图片中提取细节丰富的主题特征。
 * **特征注入**：通过VDM的空间自注意力机制，VideoMaker能在视频生成过程中将提取的
   主题特征有效地注入到每一帧视频中，确保视频内容与参考图片保持高度一致性。
 * **视频内容生成**：在保持与参考图片中主题外观一致的同时，VideoMaker还能保证生成
   视频的多样性和动态性，避免内容单调和重复。
 * **无需额外训练**：VideoMaker不需要对VDM进行复杂的再训练或参数调整，只需简单微调
   即可激活模型的内在力量，实现定制视频生成。
 * **高保真度**：VideoMaker生成的视频能够保持高保真度，无论是人物还是物体，都能在
   视频中准确呈现其外观和动态特征。

## VideoMaker的技术原理

 * **视频扩散模型（VDM）**：VDM是VideoMaker的核心，通过逐步去噪的方式学习视频数据
   分布，生成视频。
 * **特征提取**：VideoMaker将参考图像直接输入到VDM中，利用VDM的预训练知识进行细粒度
   的特征提取，这些特征与VDM的知识体系高度契合。
 * **空间自注意力机制**：VideoMaker通过修改VDM中的空间自注意力计算，实现特征注入。
   这种机制允许模型在生成每一帧视频时，将主题特征与生成内容进行双向交互，确保主题
   特征的准确呈现。
 * **引导信息识别损失**：为了在训练过程中区分参考信息和生成内容，VideoMaker设计了
   一种损失函数，帮助模型更准确地识别和处理参考信息。
 * **训练与推理范式**：在训练阶段，VideoMaker通过微调VDM的空间自注意力层和运动块
   参数，实现主题信息的有效注入。在推理时，直接丢弃与参考信息对应的输出，确保生成
   的视频不受噪声干扰。

## VideoMaker的项目地址

 * **项目官网**：[https://wutao-cs.github.io/VideoMaker/](https://wutao-cs.github.io/VideoMaker/?utm_source=ai-bot.cn)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.19645](https://arxiv.org/pdf/2412.19645)

## VideoMaker的应用场景

 * **影视制作**：在电影或电视剧的前期制作中，VideoMaker可以用于生成特定的场景和动作，
   帮助导演和制片人预览和规划。
 * **虚拟偶像**：为虚拟偶像生成多样化的视频内容，增强其与粉丝的互动和影响力。
 * **产品展示**：企业可以利用VideoMaker展示产品在不同环境下的效果，如家具在不同装修
   风格中的效果，汽车在不同路况下的表现。
 * **定制广告**：根据目标客户群体定制个性化的广告视频，提高广告的吸引力和营销效果。
 * **教学视频**：教师可以制作生动的教学视频，如物理力学原理的演示、化学实验现象的
   展示，以及历史事件的重现，提升学习体验。
 * **动画游戏设计**：游戏设计师可以通过输入角色草图和动作设计概念图，快速生成初步
   的角色动画视频，评估角色动作的流畅性和视觉效果。

❓ 常见问题解答（FAQ）

VideoMaker适合做什么类型的视频生成？

VideoMaker适合需要“参考图定制”的视频生成场景，如影视前期预演、虚拟偶像内容、产品
展示、定制广告、教学演示和游戏角色动画。它的优势是能保持主题外观一致，同时生成动态
多样的视频内容。

VideoMaker为什么说是零样本定制视频框架？

因为它不依赖额外专用模型来适配某个新主体，而是直接利用视频扩散模型（VDM）的内在能力，
从参考图片中提取主题特征并注入到生成过程中，实现快速定制。

VideoMaker和普通视频生成方法有什么区别？

普通方法往往需要额外训练或专门适配，而VideoMaker通过微调VDM的空间自注意力层和运动
块参数，就能完成主题注入；同时在推理阶段丢弃参考信息对应输出，减少噪声干扰。

🔬 语宙深潜追问 · 进阶实操拆解

零样本视频定制如何保住主体一致性？

关键是把参考图像的身份特征注入到扩散过程的关键层，同时限制时序漂移。实操上要配合
姿态、背景和镜头运动约束，否则容易出现脸部漂移、服饰变形或帧间不一致。

这种框架适合影视还是广告？

广告和短视频更适合先落地，因为对时长、风格和一致性的要求更可控。影视级长镜头则更
依赖镜头调度、角色连续性和后期修正，通常需要和传统制作管线混合使用。

🗳️ 读者观点微投票 · 您的实战立场是？

零样本定制视频，真能替代微调工作流吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [CustomCrafter – 腾讯联合浙大推出的自定义视频生成框架](https://paooo.com/aigc-news/27147/)
 * [CustomVideoX – 中科大联合浙大等推出的个性化视频生成框架](https://paooo.com/aigc-news/21960/)
 * [Video Alchemist – AI视频生成模型，具备多主体开放集合个性化能力](https://paooo.com/aigc-news/22753/)
 * [VideoCrafter2 – 腾讯推出的高质量视频生成模型](https://paooo.com/aigc-news/28415/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/23475/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
