Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: VideoMaker – 浙大联合腾讯和华为推出的零样本定制视频生成框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
VideoMaker – 浙大联合腾讯和华为推出的零样本定制视频生成框架
Prompt 语宙 > AIGC 资讯 > VideoMaker – 浙大联合腾讯和华为推出的零样本定制视频生成框架
AIGC 资讯

VideoMaker – 浙大联合腾讯和华为推出的零样本定制视频生成框架

Prompt 语宙研究院
最近更新: 2026年6月9日 下午5:37
AI视频生成 stable diffusion 大模型微调
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 基于VDM内在能力做零样本定制,直接从参考图提取并注入主题特征。
  • 通过空间自注意力机制实现帧级特征交互,兼顾主题一致性与视频多样性。
  • 无需复杂再训练,适合影视预演、产品展示、定制广告和教学视频生成。

VideoMaker是什么

VideoMaker是浙江大学、腾讯和华为诺亚方舟实验室共同开发的创新项目,基于视频扩散模型(VDM)的零样本定制视频生成框架。与传统方法不同,VideoMaker无需额外模型即可直接从参考图片中提取和注入主题特征,实现个性化视频内容的一键生成。框架基于VDM的内在能力进行细粒度特征提取,通过空间自注意力机制实现特征注入,保证了视频生成的多样性和主题一致性。VideoMaker在保持视频多样性的同时,确保了与参考图片中的主题特征高度契合,为个性化视频创作带来了极大的便捷性和灵活性。

阅读目录
  • VideoMaker是什么
  • VideoMaker的主要功能
  • VideoMaker的技术原理
  • VideoMaker的项目地址
  • VideoMaker的应用场景

VideoMaker – 浙大联合腾讯和华为推出的零样本定制视频生成框架 - 配图

VideoMaker的主要功能

  • 细粒度特征提取:VideoMaker能够直接利用视频扩散模型(VDM)的内在能力,从提供的参考图片中提取细节丰富的主题特征。
  • 特征注入:通过VDM的空间自注意力机制,VideoMaker能在视频生成过程中将提取的主题特征有效地注入到每一帧视频中,确保视频内容与参考图片保持高度一致性。
  • 视频内容生成:在保持与参考图片中主题外观一致的同时,VideoMaker还能保证生成视频的多样性和动态性,避免内容单调和重复。
  • 无需额外训练:VideoMaker不需要对VDM进行复杂的再训练或参数调整,只需简单微调即可激活模型的内在力量,实现定制视频生成。
  • 高保真度:VideoMaker生成的视频能够保持高保真度,无论是人物还是物体,都能在视频中准确呈现其外观和动态特征。

VideoMaker的技术原理

  • 视频扩散模型(VDM):VDM是VideoMaker的核心,通过逐步去噪的方式学习视频数据分布,生成视频。
  • 特征提取:VideoMaker将参考图像直接输入到VDM中,利用VDM的预训练知识进行细粒度的特征提取,这些特征与VDM的知识体系高度契合。
  • 空间自注意力机制:VideoMaker通过修改VDM中的空间自注意力计算,实现特征注入。这种机制允许模型在生成每一帧视频时,将主题特征与生成内容进行双向交互,确保主题特征的准确呈现。
  • 引导信息识别损失:为了在训练过程中区分参考信息和生成内容,VideoMaker设计了一种损失函数,帮助模型更准确地识别和处理参考信息。
  • 训练与推理范式:在训练阶段,VideoMaker通过微调VDM的空间自注意力层和运动块参数,实现主题信息的有效注入。在推理时,直接丢弃与参考信息对应的输出,确保生成的视频不受噪声干扰。

VideoMaker的项目地址

  • 项目官网:https://wutao-cs.github.io/VideoMaker/
  • arXiv技术论文:https://arxiv.org/pdf/2412.19645

VideoMaker的应用场景

  • 影视制作:在电影或电视剧的前期制作中,VideoMaker可以用于生成特定的场景和动作,帮助导演和制片人预览和规划。
  • 虚拟偶像:为虚拟偶像生成多样化的视频内容,增强其与粉丝的互动和影响力。
  • 产品展示:企业可以利用VideoMaker展示产品在不同环境下的效果,如家具在不同装修风格中的效果,汽车在不同路况下的表现。
  • 定制广告:根据目标客户群体定制个性化的广告视频,提高广告的吸引力和营销效果。
  • 教学视频:教师可以制作生动的教学视频,如物理力学原理的演示、化学实验现象的展示,以及历史事件的重现,提升学习体验。
  • 动画游戏设计:游戏设计师可以通过输入角色草图和动作设计概念图,快速生成初步的角色动画视频,评估角色动作的流畅性和视觉效果。
❓ 常见问题解答(FAQ)
VideoMaker适合做什么类型的视频生成?

VideoMaker适合需要“参考图定制”的视频生成场景,如影视前期预演、虚拟偶像内容、产品展示、定制广告、教学演示和游戏角色动画。它的优势是能保持主题外观一致,同时生成动态多样的视频内容。

VideoMaker为什么说是零样本定制视频框架?

因为它不依赖额外专用模型来适配某个新主体,而是直接利用视频扩散模型(VDM)的内在能力,从参考图片中提取主题特征并注入到生成过程中,实现快速定制。

VideoMaker和普通视频生成方法有什么区别?

普通方法往往需要额外训练或专门适配,而VideoMaker通过微调VDM的空间自注意力层和运动块参数,就能完成主题注入;同时在推理阶段丢弃参考信息对应输出,减少噪声干扰。

🔬 语宙深潜追问 · 进阶实操拆解
零样本视频定制如何保住主体一致性?

关键是把参考图像的身份特征注入到扩散过程的关键层,同时限制时序漂移。实操上要配合姿态、背景和镜头运动约束,否则容易出现脸部漂移、服饰变形或帧间不一致。

这种框架适合影视还是广告?

广告和短视频更适合先落地,因为对时长、风格和一致性的要求更可控。影视级长镜头则更依赖镜头调度、角色连续性和后期修正,通常需要和传统制作管线混合使用。

🗳️ 读者观点微投票 · 您的实战立场是?
零样本定制视频,真能替代微调工作流吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • CustomCrafter – 腾讯联合浙大推出的自定义视频生成框架
  • CustomVideoX – 中科大联合浙大等推出的个性化视频生成框架
  • Video Alchemist – AI视频生成模型,具备多主体开放集合个性化能力
  • VideoCrafter2 – 腾讯推出的高质量视频生成模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
反超美国!中国AI大模型周调用量创新高,包揽全球前四
360亿美元史上最大芯片租赁!阿波罗黑石联手,为Anthropic豪购谷歌TPU
Artflow AI
港大开源 Nanobot:仅4000行代码打造全能AI助手,43万行代码实现99%生产力
TableGPT2 – 浙大推出整合与处理表格数据的多模态大模型
TAGGED:AI视频生成stable diffusion大模型微调
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 CodeElo – 阿里 Qwen 团队推出评估 LLM 编程能力的基准测试 CodeElo – 阿里 Qwen 团队推出评估 LLM 编程能力的基准测试
下一篇 EdgeClaw:面壁智能联合清华开源AI智能体框架,首创三层数据安全协议,实现端云协同与本地隐私守护 EdgeClaw:面壁智能联合清华开源AI智能体框架,首创三层数据安全协议,实现端云协同与本地隐私守护
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

旗舰模型需求激增,OpenAI紧急解锁GPT-5.6Sol算力限制
AIGC 资讯

旗舰模型需求激增,OpenAI紧急解锁GPT-5.6Sol算力限制

Prompt 语宙研究院
AI智能体 AI编程 ChatGPT Codex OpenAI
小米发布万亿参数旗舰Agent大模型MiMo-V2-Pro:性能逼近Claude Opus,价格仅1/5
AI 工具AIGC 资讯

小米发布万亿参数旗舰Agent大模型MiMo-V2-Pro:性能逼近Claude Opus,价格仅1/5

Prompt 语宙研究院
Agent AI智能体 Claude Claude Code Cursor MiMo-V2-Pro OpenClaw 小米
一次接入、多端分发!支付宝 AI 开放平台开启邀测
AIGC 资讯

一次接入、多端分发!支付宝 AI 开放平台开启邀测

Prompt 语宙研究院
AI办公效率 AI智能体 AI编程 通义千问 零代码
[AI生图咒语] 例427 – 9-frame 时尚人像拼贴
1
AI 生图 Prompt写实人像

[AI生图咒语] 例427 – 9-frame 时尚人像拼贴

Prompt 语宙研究院
AI智能体 AI绘画提示词 Midjourney stable diffusion
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.