# SketchVideo – 快手联合多所高校推出基于草图的视频生成与编辑框架

- Link: https://paooo.com/aigc-news/18794/
- Published: 2026-06-08T22:42:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 在关键帧草图+文本提示下，实现对视频空间布局与运动的精细控制。
 * 基于DiT、草图控制块与帧间注意力，将稀疏草图条件传播到全视频帧。
 * 支持真实/合成视频细粒度编辑，保留未编辑区域细节并提升时空一致性。

## SketchVideo是什么

SketchVideo 是中国科学院大学，香港科技大学和快手可灵团队推出的基于草图的[视频生成](https://ai-bot.cn/ai-video-generation-tools/)
与编辑框架。在关键帧上绘制草图，结合文本提示，实现对视频的空间布局和运动的精细控制。
框架基于 DiT 视频生成模型，设计高效的草图控制网络，包含草图控制块和帧间注意力机制，
能将稀疏的关键帧草图条件传播到所有视频帧中。SketchVideo 支持对真实或合成视频的细
粒度编辑，基于视频插入模块和潜在融合技术，确保新内容与原始视频在空间和时间上的一致性，
保留未编辑区域的细节。

阅读目录

 * [SketchVideo是什么](https://paooo.com/aigc-news/18794/#sketchvideo%e6%98%af%e4%bb%80%e4%b9%88)
 * [SketchVideo的主要功能](https://paooo.com/aigc-news/18794/#sketchvideo%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [SketchVideo的技术原理](https://paooo.com/aigc-news/18794/#sketchvideo%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [SketchVideo的项目地址](https://paooo.com/aigc-news/18794/#sketchvideo%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [SketchVideo的应用场景](https://paooo.com/aigc-news/18794/#sketchvideo%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![SketchVideo](https://paooo.com/wp-content/uploads/2026/06/SketchVideo-website-
1.avif)

## SketchVideo的主要功能

 * **视频生成**：基于草图和文本生成视频。
 * **视频编辑**：在关键帧上画草图修改视频内容。
 * **动态控制**：支持运动插值和外推。
 * **细节保留**：编辑时保留未修改区域的细节。
 * **高效生成**：内存优化，快速生成高质量视频。

## SketchVideo的技术原理

 * **草图条件网络**：基于DiT（Diffusion-based Transformer）视频生成模型，设计专门
   的草图条件网络。草图条件网络包含多个草图控制块，预测跳过的DiT块的残差特征。草
   图控制块均匀分布在DiT块中，在不同层次的特征中注入控制信号。
 * **帧间注意力机制**：基于帧间注意力机制，将关键帧上的草图条件传播到所有视频帧。
   计算所有帧的隐藏特征与控制帧的隐藏特征之间的关系，实现对草图特征的时空传播。
 * **视频插入模块**：在视频编辑任务中，设计视频插入模块，分析输入草图与原始视频之间
   的关系。模块生成与原始视频空间和时间上一致的新内容，确保编辑后的视频与原始视频
   无缝融合。
 * **潜在融合技术**：在推理过程中，基于DDIM（Denoising Diffusion Implicit Models）
   反演生成输入视频的噪声潜在码。在未编辑区域替换这些潜在码，保留原始视频的细节，
   确保编辑后的视频在视觉上自然、连贯。
 * **混合训练策略**：基于混合训练策略，结合图像和视频数据进行训练。在训练的第一阶段，
   用图像和视频数据，加速收敛并解决视频数据有限的问题。在第二阶段，用视频数据，进一步
   优化时间连贯性。

## SketchVideo的项目地址

 * **项目官网**：[https://geometrylearning.com/SketchVideo](https://geometrylearning.com/SketchVideo/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/IGLICT/SketchVideo](https://github.com/IGLICT/SketchVideo)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2503.23284](https://arxiv.org/pdf/2503.23284)

## SketchVideo的应用场景

 * **影视与广告**：快速生成创意视频和特效预览，优化制作流程，节省时间和成本。
 * **教育与培训**：辅助制作教学视频和培训材料，提升教学效果。
 * **游戏开发**：快速生成关卡预览和角色动画，提高开发效率。
 * **个人创作**：轻松创作个性化短视频，降低创作门槛。
 * **建筑设计**：生成建筑和室内设计的动态预览，增强客户沟通。

❓ 常见问题解答（FAQ）

SketchVideo适合做什么类型的视频生成？

SketchVideo适合需要可控生成的视频任务，尤其是通过关键帧草图和文本提示来指定画面布局、
主体位置与运动轨迹的场景，可用于创意短片、预览动画和概念视频生成。

SketchVideo和普通文本生成视频有什么区别？

普通文本生成视频主要依赖文字描述，控制粒度有限；SketchVideo额外引入草图条件，能在
关键帧上直接指定结构与运动，并通过帧间注意力把控制信息传播到整段视频。

SketchVideo编辑视频时会不会破坏原视频细节？

它在编辑时使用视频插入模块和潜在融合技术，尽量让新内容与原视频在空间和时间上自然
衔接，并保留未编辑区域的细节，降低改动痕迹。

🔬 语宙深潜追问 · 进阶实操拆解

草图控制最该解决什么问题？

最关键是让草图约束真正影响运动和构图，而不是只改首帧。要做到这一点，模型需要稳定
的时序一致性和跨帧结构保持，否则很容易“第一帧像，后面跑”。

如何把草图编辑接进制作流程？

适合放在分镜、预演和局部修改阶段，先用草图锁定空间关系，再用文本补充动作与风格。
这样能减少反复试错，也更适合团队协作审稿。

🗳️ 读者观点微投票 · 您的实战立场是？

草图控视频生成会成为新主流吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🎬 所属权威专题：AI 视频生成与影视工作流 →](https://paooo.com/topics/ai-video-generation/)

 * [VidSketch – 浙江大学推出的视频动画生成框架](https://paooo.com/aigc-news/21465/)
 * [FlipSketch – 萨里大学推出的文本引导生成无约束草图动画的AI系统](https://paooo.com/aigc-news/25383/)
 * [VideoDoodles – Adobe推出的AI视频编辑框架](https://paooo.com/aigc-news/27577/)
 * [I2V3D – 香港城市大学联合微软推出的图像到视频生成框架](https://paooo.com/aigc-news/20979/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/18794/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
