SketchVideo是什么
SketchVideo 是中国科学院大学,香港科技大学和快手可灵团队推出的基于草图的视频生成与编辑框架。在关键帧上绘制草图,结合文本提示,实现对视频的空间布局和运动的精细控制。框架基于 DiT 视频生成模型,设计高效的草图控制网络,包含草图控制块和帧间注意力机制,能将稀疏的关键帧草图条件传播到所有视频帧中。SketchVideo 支持对真实或合成视频的细粒度编辑,基于视频插入模块和潜在融合技术,确保新内容与原始视频在空间和时间上的一致性,保留未编辑区域的细节。

SketchVideo的主要功能
- 视频生成:基于草图和文本生成视频。
- 视频编辑:在关键帧上画草图修改视频内容。
- 动态控制:支持运动插值和外推。
- 细节保留:编辑时保留未修改区域的细节。
- 高效生成:内存优化,快速生成高质量视频。
SketchVideo的技术原理
- 草图条件网络:基于DiT(Diffusion-based Transformer)视频生成模型,设计专门的草图条件网络。草图条件网络包含多个草图控制块,预测跳过的DiT块的残差特征。草图控制块均匀分布在DiT块中,在不同层次的特征中注入控制信号。
- 帧间注意力机制:基于帧间注意力机制,将关键帧上的草图条件传播到所有视频帧。计算所有帧的隐藏特征与控制帧的隐藏特征之间的关系,实现对草图特征的时空传播。
- 视频插入模块:在视频编辑任务中,设计视频插入模块,分析输入草图与原始视频之间的关系。模块生成与原始视频空间和时间上一致的新内容,确保编辑后的视频与原始视频无缝融合。
- 潜在融合技术:在推理过程中,基于DDIM(Denoising Diffusion Implicit Models)反演生成输入视频的噪声潜在码。在未编辑区域替换这些潜在码,保留原始视频的细节,确保编辑后的视频在视觉上自然、连贯。
- 混合训练策略:基于混合训练策略,结合图像和视频数据进行训练。在训练的第一阶段,用图像和视频数据,加速收敛并解决视频数据有限的问题。在第二阶段,用视频数据,进一步优化时间连贯性。
SketchVideo的项目地址
- 项目官网:https://geometrylearning.com/SketchVideo
- GitHub仓库:https://github.com/IGLICT/SketchVideo
- arXiv技术论文:https://arxiv.org/pdf/2503.23284
SketchVideo的应用场景
- 影视与广告:快速生成创意视频和特效预览,优化制作流程,节省时间和成本。
- 教育与培训:辅助制作教学视频和培训材料,提升教学效果。
- 游戏开发:快速生成关卡预览和角色动画,提高开发效率。
- 个人创作:轻松创作个性化短视频,降低创作门槛。
- 建筑设计:生成建筑和室内设计的动态预览,增强客户沟通。
❓ 常见问题解答(FAQ)
SketchVideo适合做什么类型的视频生成?
SketchVideo适合需要可控生成的视频任务,尤其是通过关键帧草图和文本提示来指定画面布局、主体位置与运动轨迹的场景,可用于创意短片、预览动画和概念视频生成。
SketchVideo和普通文本生成视频有什么区别?
普通文本生成视频主要依赖文字描述,控制粒度有限;SketchVideo额外引入草图条件,能在关键帧上直接指定结构与运动,并通过帧间注意力把控制信息传播到整段视频。
SketchVideo编辑视频时会不会破坏原视频细节?
它在编辑时使用视频插入模块和潜在融合技术,尽量让新内容与原视频在空间和时间上自然衔接,并保留未编辑区域的细节,降低改动痕迹。
🔬 语宙深潜追问 · 进阶实操拆解
草图控制最该解决什么问题?
最关键是让草图约束真正影响运动和构图,而不是只改首帧。要做到这一点,模型需要稳定的时序一致性和跨帧结构保持,否则很容易“第一帧像,后面跑”。
如何把草图编辑接进制作流程?
适合放在分镜、预演和局部修改阶段,先用草图锁定空间关系,再用文本补充动作与风格。这样能减少反复试错,也更适合团队协作审稿。
🗳️ 读者观点微投票 · 您的实战立场是?
草图控视频生成会成为新主流吗?
