---
title: "VideoMaker – 浙大联合腾讯和华为推出的零样本定制视频生成框架"
url: "https://paooo.com/aigc-news/23475/"
author: "Prompt 语宙研究院"
published_at: "2026-06-09T17:37:43+08:00"
updated_at: "2026-06-09T17:37:43+08:00"
categories: "AIGC 资讯"
tags: "AI视频生成, stable diffusion, 大模型微调"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# VideoMaker – 浙大联合腾讯和华为推出的零样本定制视频生成框架

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/23475/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-09

## AI 30 秒核心看点 (TL;DR)

- 基于VDM内在能力做零样本定制，直接从参考图提取并注入主题特征。
- 通过空间自注意力机制实现帧级特征交互，兼顾主题一致性与视频多样性。
- 无需复杂再训练，适合影视预演、产品展示、定制广告和教学视频生成。

## VideoMaker是什么

VideoMaker是浙江大学、腾讯和华为诺亚方舟实验室共同开发的创新项目，基于视频扩散模型（VDM）的零样本定制视频生成框架。与传统方法不同，VideoMaker无需额外模型即可直接从参考图片中提取和注入主题特征，实现个性化视频内容的一键生成。框架基于VDM的内在能力进行细粒度特征提取，通过空间自注意力机制实现特征注入，保证了视频生成的多样性和主题一致性。VideoMaker在保持视频多样性的同时，确保了与参考图片中的主题特征高度契合，为个性化视频创作带来了极大的便捷性和灵活性。

## VideoMaker的主要功能

- **细粒度特征提取**：VideoMaker能够直接利用视频扩散模型（VDM）的内在能力，从提供的参考图片中提取细节丰富的主题特征。

- **特征注入**：通过VDM的空间自注意力机制，VideoMaker能在视频生成过程中将提取的主题特征有效地注入到每一帧视频中，确保视频内容与参考图片保持高度一致性。

- **视频内容生成**：在保持与参考图片中主题外观一致的同时，VideoMaker还能保证生成视频的多样性和动态性，避免内容单调和重复。

- **无需额外训练**：VideoMaker不需要对VDM进行复杂的再训练或参数调整，只需简单微调即可激活模型的内在力量，实现定制视频生成。

- **高保真度**：VideoMaker生成的视频能够保持高保真度，无论是人物还是物体，都能在视频中准确呈现其外观和动态特征。

## VideoMaker的技术原理

- **视频扩散模型（VDM）**：VDM是VideoMaker的核心，通过逐步去噪的方式学习视频数据分布，生成视频。

- **特征提取**：VideoMaker将参考图像直接输入到VDM中，利用VDM的预训练知识进行细粒度的特征提取，这些特征与VDM的知识体系高度契合。

- **空间自注意力机制**：VideoMaker通过修改VDM中的空间自注意力计算，实现特征注入。这种机制允许模型在生成每一帧视频时，将主题特征与生成内容进行双向交互，确保主题特征的准确呈现。

- **引导信息识别损失**：为了在训练过程中区分参考信息和生成内容，VideoMaker设计了一种损失函数，帮助模型更准确地识别和处理参考信息。

- **训练与推理范式**：在训练阶段，VideoMaker通过微调VDM的空间自注意力层和运动块参数，实现主题信息的有效注入。在推理时，直接丢弃与参考信息对应的输出，确保生成的视频不受噪声干扰。

## VideoMaker的项目地址

- **项目官网**：[https://wutao-cs.github.io/VideoMaker/](https://wutao-cs.github.io/VideoMaker/?utm_source=ai-bot.cn)

- **arXiv技术论文**：[https://arxiv.org/pdf/2412.19645](https://arxiv.org/pdf/2412.19645)

## VideoMaker的应用场景

- **影视制作**：在电影或电视剧的前期制作中，VideoMaker可以用于生成特定的场景和动作，帮助导演和制片人预览和规划。

- **虚拟偶像**：为虚拟偶像生成多样化的视频内容，增强其与粉丝的互动和影响力。

- **产品展示**：企业可以利用VideoMaker展示产品在不同环境下的效果，如家具在不同装修风格中的效果，汽车在不同路况下的表现。

- **定制广告**：根据目标客户群体定制个性化的广告视频，提高广告的吸引力和营销效果。

- **教学视频**：教师可以制作生动的教学视频，如物理力学原理的演示、化学实验现象的展示，以及历史事件的重现，提升学习体验。

- **动画游戏设计**：游戏设计师可以通过输入角色草图和动作设计概念图，快速生成初步的角色动画视频，评估角色动作的流畅性和视觉效果。

## 常见问题解答 (FAQ)

### VideoMaker适合做什么类型的视频生成？
VideoMaker适合需要“参考图定制”的视频生成场景，如影视前期预演、虚拟偶像内容、产品展示、定制广告、教学演示和游戏角色动画。它的优势是能保持主题外观一致，同时生成动态多样的视频内容。

### VideoMaker为什么说是零样本定制视频框架？
因为它不依赖额外专用模型来适配某个新主体，而是直接利用视频扩散模型（VDM）的内在能力，从参考图片中提取主题特征并注入到生成过程中，实现快速定制。

### VideoMaker和普通视频生成方法有什么区别？
普通方法往往需要额外训练或专门适配，而VideoMaker通过微调VDM的空间自注意力层和运动块参数，就能完成主题注入；同时在推理阶段丢弃参考信息对应输出，减少噪声干扰。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
