Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: SketchVideo – 快手联合多所高校推出基于草图的视频生成与编辑框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
SketchVideo – 快手联合多所高校推出基于草图的视频生成与编辑框架
Prompt 语宙 > AIGC 资讯 > SketchVideo – 快手联合多所高校推出基于草图的视频生成与编辑框架
AIGC 资讯

SketchVideo – 快手联合多所高校推出基于草图的视频生成与编辑框架

Prompt 语宙研究院
最近更新: 2026年6月7日 下午8:03
3D与空间智能 AI视频生成 可灵AI
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 在关键帧草图+文本提示下,实现对视频空间布局与运动的精细控制。
  • 基于DiT、草图控制块与帧间注意力,将稀疏草图条件传播到全视频帧。
  • 支持真实/合成视频细粒度编辑,保留未编辑区域细节并提升时空一致性。

SketchVideo是什么

SketchVideo 是中国科学院大学,香港科技大学和快手可灵团队推出的基于草图的视频生成与编辑框架。在关键帧上绘制草图,结合文本提示,实现对视频的空间布局和运动的精细控制。框架基于 DiT 视频生成模型,设计高效的草图控制网络,包含草图控制块和帧间注意力机制,能将稀疏的关键帧草图条件传播到所有视频帧中。SketchVideo 支持对真实或合成视频的细粒度编辑,基于视频插入模块和潜在融合技术,确保新内容与原始视频在空间和时间上的一致性,保留未编辑区域的细节。

阅读目录
  • SketchVideo是什么
  • SketchVideo的主要功能
  • SketchVideo的技术原理
  • SketchVideo的项目地址
  • SketchVideo的应用场景

SketchVideo

SketchVideo的主要功能

  • 视频生成:基于草图和文本生成视频。
  • 视频编辑:在关键帧上画草图修改视频内容。
  • 动态控制:支持运动插值和外推。
  • 细节保留:编辑时保留未修改区域的细节。
  • 高效生成:内存优化,快速生成高质量视频。

SketchVideo的技术原理

  • 草图条件网络:基于DiT(Diffusion-based Transformer)视频生成模型,设计专门的草图条件网络。草图条件网络包含多个草图控制块,预测跳过的DiT块的残差特征。草图控制块均匀分布在DiT块中,在不同层次的特征中注入控制信号。
  • 帧间注意力机制:基于帧间注意力机制,将关键帧上的草图条件传播到所有视频帧。计算所有帧的隐藏特征与控制帧的隐藏特征之间的关系,实现对草图特征的时空传播。
  • 视频插入模块:在视频编辑任务中,设计视频插入模块,分析输入草图与原始视频之间的关系。模块生成与原始视频空间和时间上一致的新内容,确保编辑后的视频与原始视频无缝融合。
  • 潜在融合技术:在推理过程中,基于DDIM(Denoising Diffusion Implicit Models)反演生成输入视频的噪声潜在码。在未编辑区域替换这些潜在码,保留原始视频的细节,确保编辑后的视频在视觉上自然、连贯。
  • 混合训练策略:基于混合训练策略,结合图像和视频数据进行训练。在训练的第一阶段,用图像和视频数据,加速收敛并解决视频数据有限的问题。在第二阶段,用视频数据,进一步优化时间连贯性。

SketchVideo的项目地址

  • 项目官网:https://geometrylearning.com/SketchVideo
  • GitHub仓库:https://github.com/IGLICT/SketchVideo
  • arXiv技术论文:https://arxiv.org/pdf/2503.23284

SketchVideo的应用场景

  • 影视与广告:快速生成创意视频和特效预览,优化制作流程,节省时间和成本。
  • 教育与培训:辅助制作教学视频和培训材料,提升教学效果。
  • 游戏开发:快速生成关卡预览和角色动画,提高开发效率。
  • 个人创作:轻松创作个性化短视频,降低创作门槛。
  • 建筑设计:生成建筑和室内设计的动态预览,增强客户沟通。
❓ 常见问题解答(FAQ)
SketchVideo适合做什么类型的视频生成?

SketchVideo适合需要可控生成的视频任务,尤其是通过关键帧草图和文本提示来指定画面布局、主体位置与运动轨迹的场景,可用于创意短片、预览动画和概念视频生成。

SketchVideo和普通文本生成视频有什么区别?

普通文本生成视频主要依赖文字描述,控制粒度有限;SketchVideo额外引入草图条件,能在关键帧上直接指定结构与运动,并通过帧间注意力把控制信息传播到整段视频。

SketchVideo编辑视频时会不会破坏原视频细节?

它在编辑时使用视频插入模块和潜在融合技术,尽量让新内容与原视频在空间和时间上自然衔接,并保留未编辑区域的细节,降低改动痕迹。

🔬 语宙深潜追问 · 进阶实操拆解
草图控制最该解决什么问题?

最关键是让草图约束真正影响运动和构图,而不是只改首帧。要做到这一点,模型需要稳定的时序一致性和跨帧结构保持,否则很容易“第一帧像,后面跑”。

如何把草图编辑接进制作流程?

适合放在分镜、预演和局部修改阶段,先用草图锁定空间关系,再用文本补充动作与风格。这样能减少反复试错,也更适合团队协作审稿。

🗳️ 读者观点微投票 · 您的实战立场是?
草图控视频生成会成为新主流吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🎬 所属权威专题:AI 视频生成与影视工作流 →
  • VidSketch – 浙江大学推出的视频动画生成框架
  • FlipSketch – 萨里大学推出的文本引导生成无约束草图动画的AI系统
  • VideoDoodles – Adobe推出的AI视频编辑框架
  • I2V3D – 香港城市大学联合微软推出的图像到视频生成框架
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
阿里通义千问开源 Qwen-Image:200亿参数文生图模型,中文渲染登顶,性能超越 GPT Image
Seedream 3.0 – 字节推出的 AI 图片生成模型,精准生成复杂中文内容
ControlNeXt – AI图像和视频可控生成框架
灵动声纹与情感释放:Google DeepMind推出Lyria 3.5音乐生成模型
谷歌DeepMind发布WeatherNext 2:AI天气预报速度飙升8倍,精准预测极端天气
TAGGED:3D与空间智能AI视频生成可灵AI
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 OmniSQL – 开源文本到 SQL 模型,自然语言转换为 SQL 查询语句 OmniSQL – 开源文本到 SQL 模型,自然语言转换为 SQL 查询语句
下一篇 LlamaV-o1 – 多模态视觉推理模型,采用逐步推理学习方法解决复杂任务 LlamaV-o1 – 多模态视觉推理模型,采用逐步推理学习方法解决复杂任务
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

朱自清《荷塘月色》AI率60%真相:算法误判背后,经典文学成大模型"牺牲品"
AI 工具AIGC 资讯

朱自清《荷塘月色》AI率60%真相:算法误判背后,经典文学成大模型”牺牲品”

Prompt 语宙研究院
AIGC AI办公效率 AI检测 AI率 AI生成内容 OpenAI 大模型微调
OmniBooth – 华为诺亚方舟联合港科大推出的图像生成框架
AIGC 资讯

OmniBooth – 华为诺亚方舟联合港科大推出的图像生成框架

Prompt 语宙研究院
3D与空间智能 AI绘画提示词 HuggingFace stable diffusion 开源大模型
Codex Security CLI – OpenAI开源的AI代码安全扫描CLI工具
AIGC 资讯

Codex Security CLI – OpenAI开源的AI代码安全扫描CLI工具

Prompt 语宙研究院
AI编程 ChatGPT Codex OpenAI 开源大模型
Seedream 4.5:字节跳动重磅AI图像创作模型,广告电商影视一键生成
AI 工具AIGC 资讯

Seedream 4.5:字节跳动重磅AI图像创作模型,广告电商影视一键生成

Prompt 语宙研究院
AIGC 图像生成 字节跳动 火山方舟 豆包AI
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.