---
title: "SketchVideo – 快手联合多所高校推出基于草图的视频生成与编辑框架"
url: "https://paooo.com/aigc-news/18794/"
author: "Prompt 语宙研究院"
published_at: "2026-06-08T22:42:22+08:00"
updated_at: "2026-06-07T20:03:31+08:00"
categories: "AIGC 资讯"
tags: "3D与空间智能, AI视频生成, 可灵AI"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# SketchVideo – 快手联合多所高校推出基于草图的视频生成与编辑框架

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/18794/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-08

## AI 30 秒核心看点 (TL;DR)

- 在关键帧草图+文本提示下，实现对视频空间布局与运动的精细控制。
- 基于DiT、草图控制块与帧间注意力，将稀疏草图条件传播到全视频帧。
- 支持真实/合成视频细粒度编辑，保留未编辑区域细节并提升时空一致性。

## SketchVideo是什么

SketchVideo 是中国科学院大学，香港科技大学和快手可灵团队推出的基于草图的[视频生成](https://ai-bot.cn/ai-video-generation-tools/)与编辑框架。在关键帧上绘制草图，结合文本提示，实现对视频的空间布局和运动的精细控制。框架基于 DiT 视频生成模型，设计高效的草图控制网络，包含草图控制块和帧间注意力机制，能将稀疏的关键帧草图条件传播到所有视频帧中。SketchVideo 支持对真实或合成视频的细粒度编辑，基于视频插入模块和潜在融合技术，确保新内容与原始视频在空间和时间上的一致性，保留未编辑区域的细节。

## SketchVideo的主要功能

- **视频生成**：基于草图和文本生成视频。

- **视频编辑**：在关键帧上画草图修改视频内容。

- **动态控制**：支持运动插值和外推。

- **细节保留**：编辑时保留未修改区域的细节。

- **高效生成**：内存优化，快速生成高质量视频。

## SketchVideo的技术原理

- **草图条件网络**：基于DiT（Diffusion-based Transformer）视频生成模型，设计专门的草图条件网络。草图条件网络包含多个草图控制块，预测跳过的DiT块的残差特征。草图控制块均匀分布在DiT块中，在不同层次的特征中注入控制信号。

- **帧间注意力机制**：基于帧间注意力机制，将关键帧上的草图条件传播到所有视频帧。计算所有帧的隐藏特征与控制帧的隐藏特征之间的关系，实现对草图特征的时空传播。

- **视频插入模块**：在视频编辑任务中，设计视频插入模块，分析输入草图与原始视频之间的关系。模块生成与原始视频空间和时间上一致的新内容，确保编辑后的视频与原始视频无缝融合。

- **潜在融合技术**：在推理过程中，基于DDIM（Denoising Diffusion Implicit Models）反演生成输入视频的噪声潜在码。在未编辑区域替换这些潜在码，保留原始视频的细节，确保编辑后的视频在视觉上自然、连贯。

- **混合训练策略**：基于混合训练策略，结合图像和视频数据进行训练。在训练的第一阶段，用图像和视频数据，加速收敛并解决视频数据有限的问题。在第二阶段，用视频数据，进一步优化时间连贯性。

## SketchVideo的项目地址

- **项目官网**：[https://geometrylearning.com/SketchVideo](https://geometrylearning.com/SketchVideo/?utm_source=ai-bot.cn)

- **GitHub仓库**：[https://github.com/IGLICT/SketchVideo](https://github.com/IGLICT/SketchVideo)

- **arXiv技术论文**：[https://arxiv.org/pdf/2503.23284](https://arxiv.org/pdf/2503.23284)

## SketchVideo的应用场景

- **影视与广告**：快速生成创意视频和特效预览，优化制作流程，节省时间和成本。

- **教育与培训**：辅助制作教学视频和培训材料，提升教学效果。

- **游戏开发**：快速生成关卡预览和角色动画，提高开发效率。

- **个人创作**：轻松创作个性化短视频，降低创作门槛。

- **建筑设计**：生成建筑和室内设计的动态预览，增强客户沟通。

## 常见问题解答 (FAQ)

### SketchVideo适合做什么类型的视频生成？
SketchVideo适合需要可控生成的视频任务，尤其是通过关键帧草图和文本提示来指定画面布局、主体位置与运动轨迹的场景，可用于创意短片、预览动画和概念视频生成。

### SketchVideo和普通文本生成视频有什么区别？
普通文本生成视频主要依赖文字描述，控制粒度有限；SketchVideo额外引入草图条件，能在关键帧上直接指定结构与运动，并通过帧间注意力把控制信息传播到整段视频。

### SketchVideo编辑视频时会不会破坏原视频细节？
它在编辑时使用视频插入模块和潜在融合技术，尽量让新内容与原视频在空间和时间上自然衔接，并保留未编辑区域的细节，降低改动痕迹。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
