# VACE – 阿里通义推出的视频生成与编辑框架

- Link: https://paooo.com/aigc-news/21074/
- Published: 2026-06-08T16:18:06+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * VACE 用统一的 Video Condition Unit 整合多模态输入，打通视频生成与编辑流程。
 * 支持文本到视频、参考生成、视频扩展、遮罩编辑、主体移除等多类任务组合。
 * 开源版本覆盖 480P/720P，实验结果显示性能接近专用模型，实用性强。

## VACE是什么

VACE（Video Creation and Editing）是阿里巴巴通义实验室推出的一站式[视频生成](https://ai-bot.cn/ai-video-generation-tools/)
与编辑框架。基于整合多种视频任务（如参考视频生成、视频到视频编辑、遮罩编辑等）到
一个统一模型中，实现高效的内容创作和编辑功能。VACE的核心在于Video Condition Unit（
VCU），将文本、图像、视频和遮罩等多种模态输入整合为统一的条件单元，支持多种任务的
灵活组合。开源的 Wan2.1-VACE-1.3B 支持 480P 分辨率，Wan2.1-VACE-14B 支持 480P 和
720P 分辨率。实验表明，VACE在多种任务上达到与特定任务模型相当的性能，提供更广泛的
应用可能性，为视频内容创作开辟新的路径。

阅读目录

 * [VACE是什么](https://paooo.com/aigc-news/21074/#vace%e6%98%af%e4%bb%80%e4%b9%88)
 * [VACE的主要功能](https://paooo.com/aigc-news/21074/#vace%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [VACE的技术原理](https://paooo.com/aigc-news/21074/#vace%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [VACE的项目地址](https://paooo.com/aigc-news/21074/#vace%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [VACE的应用场景](https://paooo.com/aigc-news/21074/#vace%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![VACE](https://paooo.com/wp-content/uploads/2026/06/VACE-website-1.avif)

## VACE的主要功能

 * **文本到视频生成**：根据文本提示生成视频。
 * **参考到视频生成**：结合文本和参考图像生成视频。
 * **视频扩展**：基于现有视频片段生成新的开头或结尾。
 * **视频到视频编辑**：对输入视频进行整体风格转换（如色彩化、风格化）。
 * **遮罩视频编辑**：在指定区域进行编辑，如修复（Inpainting）、扩展（Outpainting）。
 * **主体移除与重建**：移除视频中的特定主体并填充背景。
 * **任务组合与创新**：将多种任务组合，例如参考生成+主体替换、姿态控制+视频扩展等。
   基于姿态、深度、光流等条件控制视频生成。

## VACE的技术原理

 * **Video Condition Unit（VCU）**：VCU是VACE的核心输入接口，用在整合多种模态的输入（
   如文本、图像、视频、遮罩）。基于统一的格式将输入传递给模型，支持多种任务的灵活
   组合。
 * **Context Adapter结构**：基于Context Adapter，将不同任务的概念（如编辑区域、参考
   内容）注入模型。将时间和空间维度的形式化表示，适应不同的任务需求。
 * **扩散模型**：基于扩散模型（如Diffusion Transformer）构建，用逐步去噪的方式生成
   高质量的视频内容。
 * **多模态输入处理**：支持文本、图像、视频和遮罩等多种输入模态，基于特定的编码器
   映射到统一的特征空间。例如，视频VAE（Variational Autoencoder）处理视频输入，分割
   和掩码操作处理局部编辑任务。
 * **训练与优化策略**：基于逐步训练策略，先从基础任务（如修复、扩展）开始，逐步扩展
   到复杂任务（如组合任务）。支持全模型微调和上下文适配器微调，后者能更快收敛支持
   插件式功能。

## VACE的项目地址

 * **项目官网**：[https://ali-vilab.github.io/VACE-Page/](https://ali-vilab.github.io/VACE-Page/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/ali-vilab/VACE](https://github.com/ali-vilab/VACE)
 * **HuggingFace模型库**：[https://huggingface.co/collections/ali-vilab/vace](https://huggingface.co/collections/ali-vilab/vace-67eca186ff3e3564726aff38)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2503.07598](https://arxiv.org/pdf/2503.07598)

## VACE的应用场景

 * **创意视频生成**：快速根据文本或图片生成广告、动画等创意视频内容。
 * **视频修复与增强**：修复老视频、填补画面缺失部分或提升视频风格。
 * **高效视频编辑**：实现主体替换、动画添加等复杂编辑任务。
 * **视频扩展**：为短视频生成新片段，延长视频内容。
 * **互动视频创作**：根据用户输入（如姿态、草图）生成个性化视频。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

VACE是什么视频生成框架？

VACE 是阿里巴巴通义实验室推出的一站式视频生成与编辑框架，把文本、图像、视频和遮罩
等输入统一到一个模型里，支持生成、编辑、扩展和修复等多种视频任务。

VACE支持哪些视频编辑功能？

VACE 支持文本到视频、参考到视频、视频扩展、视频到视频风格编辑、遮罩编辑、主体移除
与重建等功能，还能组合姿态、深度、光流等条件进行控制。

VACE开源模型有哪些规格？

文中提到开源的 Wan2.1-VACE-1.3B 支持 480P 分辨率，Wan2.1-VACE-14B 支持 480P 和 720P
分辨率，适合不同算力和画质需求。

🔬 语宙深潜追问 · 进阶实操拆解

VACE最适合落地哪些视频任务？

最适合短视频改稿、素材扩展、局部修复、主体移除和快速风格化。若目标是高频出片和低成本
迭代，它很有价值；但涉及复杂叙事、精细节奏和品牌级质感，仍需人工后期把控。

如何避免生成视频的时序失真？

尽量把任务拆成短片段处理，先锁定主体、镜头运动和关键帧，再做局部编辑。对连续动作
和多人交互场景，要减少大幅改写，优先用遮罩和局部修补，能明显降低闪烁和漂移。

🗳️ 读者观点微投票 · 您的实战立场是？

视频生成编辑一体化，真能替代专业剪辑吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Wan2.1 – 阿里开源的AI视频生成大模型](https://paooo.com/aigc-news/21561/)
 * [ACE – 阿里通义实验室推出的全能图像生成和编辑模型](https://paooo.com/aigc-news/25292/)
 * [阿里通义开源 Wan2.2-S2V：一张图+一段音频，分钟级生成电影级数字人视频的多模态大模型](https://paooo.com/aigc-news/13987/)
 * [CogVideoX v1.5 – 智谱最新开源的AI视频生成模型](https://paooo.com/aigc-news/25751/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21074/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
