Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: DreamVideo-2 – 复旦和阿里联合多机构推出的零样本视频定制生成框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
DreamVideo-2 – 复旦和阿里联合多机构推出的零样本视频定制生成框架
Prompt 语宙 > AIGC 资讯 > DreamVideo-2 – 复旦和阿里联合多机构推出的零样本视频定制生成框架
AIGC 资讯

DreamVideo-2 – 复旦和阿里联合多机构推出的零样本视频定制生成框架

Prompt 语宙研究院
最近更新: 2026年7月17日 上午7:18
3D与空间智能 AI视频生成 ComfyUI 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 无需测试时微调,单图+界定框序列即可生成定制视频。
  • 参考注意力学习主题外观,掩码引导模块实现精确运动轨迹控制。
  • 在主题定制与运动控制上优于现有先进方法,实用性强。

DreamVideo-2是什么

DreamVideo-2是创新的零样本视频定制框架,复旦大学和阿里巴巴集团等机构联合推出。DreamVideo-2能根据单一图像和界定框序列生成具有特定主题和精确运动轨迹的视频,无需在测试时进行微调。框架用参考注意力机制学习主题外观,基于从界定框导出的二值掩码控制运动轨迹,实现精确的运动控制。DreamVideo-2引入混合掩码参考注意力和重加权扩散损失,增强主题表征、平衡主题学习与运动控制。研究团队用WebVid-10M数据集和内部数据支持零样本视频定制任务。DreamVideo-2在主题定制和运动控制方面均优于现有的先进方法,展现在视频定制领域的潜力和实用性。

阅读目录
  • DreamVideo-2是什么
  • DreamVideo-2的主要功能
  • DreamVideo-2的技术原理
  • DreamVideo-2的项目地址
  • DreamVideo-2的应用场景

DreamVideo-2

DreamVideo-2的主要功能

  • 零样本定制:无需在测试时进行微调,能直接根据用户提供的单一图像和界定框序列生成具有特定主题和精确运动轨迹的视频。
  • 主题学习:基于参考注意力机制,用模型的固有能力学习、生成特定主题的外观。
  • 精确运动控制:用从界定框导出的二值掩码控制视频中主题的运动轨迹,实现精确的运动控制。
  • 混合掩码参考注意力:基于混合潜在掩码建模方案增强目标位置的主题表征,提升主题的准确性。
  • 重加权扩散损失:区分界定框内外区域的贡献,确保主题学习和运动控制之间的平衡。

DreamVideo-2的技术原理

  • 参考注意力机制:
    • 基于视频扩散模型的多尺度特征提取能力,将用户提供的单一主题图像作为单帧视频输入模型,获取主题注意力特征。
    • 基于残差交叉注意力将主题特征注入到视频特征中,增强模型对特定主题的学习能力。
  • 掩码引导的运动模块:
    • 将用户定义的界定框序列转换为二值掩码序列,用在指示视频中主题的运动轨迹。
    • 设计包含时空编码器和空间ControlNet的掩码引导运动模块,从掩码序列中提取运动信息实现精确控制。
  • 混合掩码参考注意力:在参考注意力中引入混合潜在掩码建模,基于调整掩码中背景的权重,增强目标位置的主题表征。
  • 重加权扩散损失:设计新的损失函数,基于调整界定框内外区域的损失贡献权重,平衡主题学习和运动控制。
  • 训练与推理:
    • 在训练阶段,冻结原始3D UNet参数,联合训练新添加的组件,如混合掩码参考注意力和掩码引导的运动模块。
    • 在推理阶段,用户提供主题图像和界定框序列,能生成定制视频,无需额外的微调或注意力图修改。
  • 数据集构建:构建新的单主题视频数据集,包含视频掩码和边界框,用Grounding DINO、SAM和DEVA模型生成注释,支持零样本视频定制任务。

DreamVideo-2的项目地址

  • 项目官网:dreamvideo2.github.io
  • arXiv技术论文:https://arxiv.org/pdf/2410.13830

DreamVideo-2的应用场景

  • 娱乐与社交媒体:用户根据个人喜好,快速生成包含特定人物或物体的视频内容,用在社交媒体分享或个人娱乐。
  • 电影与视频制作:电影制作人用DreamVideo-2预览特效或场景,或生成特定的动作序列,减少实际拍摄的成本和时间。
  • 广告与营销:基于定制视频内容,企业能创建更具吸引力的广告,用特定产品或品牌为主题,提高广告的个性化和互动性。
  • 教育与培训:教育机构用DreamVideo-2生成教学视频,模拟特定的实验过程或历史事件,增强学习体验。
  • 新闻与报道:新闻机构快速生成新闻故事的视觉内容,尤其是对于难以现场拍摄的事件。
❓ 常见问题解答(FAQ)
DreamVideo-2支持什么输入生成视频?

它支持单一主题图像和界定框序列作为输入,前者用于学习主题外观,后者转成二值掩码后控制运动轨迹,从而生成带特定主题且运动可控的视频。

DreamVideo-2为什么说是零样本视频定制?

因为它在测试时不需要针对新主题额外微调,也不需要修改注意力图,直接用用户提供的图像和界定框序列即可完成定制生成。

DreamVideo-2相比现有方法的优势是什么?

核心优势是同时兼顾主题一致性和运动精度。它通过混合掩码参考注意力与重加权扩散损失,增强主题表征并平衡运动控制,实验结果优于现有先进方法。

🔬 语宙深潜追问 · 进阶实操拆解
单图加框序列怎么用才稳?

先把主体图选清晰、边界明确的参考图,再用少量关键帧式框序列定义运动路径。框不要过密,优先描述起止位置和大方向,能显著减少漂移与身份丢失。

哪些任务最适合零样本定制?

适合短视频广告、角色展示、概念预演和快速内容迭代这类“先出效果再精修”的场景。若需要严格镜头连续性或复杂物理交互,通常还要结合后期修正或局部控制。

🗳️ 读者观点微投票 · 您的实战立场是?
零样本视频定制,真能替代微调吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • Motion Dreamer – 香港科技大学推出的运动合理视频生成框架
  • CustomVideoX – 中科大联合浙大等推出的个性化视频生成框架
  • VideoMaker – 浙大联合腾讯和华为推出的零样本定制视频生成框架
  • VideoAnydoor – 港大联合阿里达摩院等机构推出的零样本视频对象插入框架
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Colorify.AI照片上色
NextChat – 一键搭建私人ChatGPT网页应用的开源项目
国产大模型重磅突破!昆仑万维SkyClaw-v1.0 Agent模型发布:百万上下文、多步任务执行,性能直逼顶级旗舰
EvoAgentX – 开源的AI Agent自动化生成与优化框架
Substack 接入 Pangram 检测工具,上线网页与移动端 AI 文本识别功能
TAGGED:3D与空间智能AI视频生成ComfyUI大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 NotebookMLX – 将PDF文档转换成音频博客开源版的NotebookLM NotebookMLX – 将PDF文档转换成音频博客开源版的NotebookLM
下一篇 EMMA – Waymo推出的端到端自动驾驶多模态模型 EMMA – Waymo推出的端到端自动驾驶多模态模型
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

Mini-Omni – 开源的端到端实时语音对话大模型
AIGC 资讯

Mini-Omni – 开源的端到端实时语音对话大模型

Prompt 语宙研究院
AI智能体 AI音频与语音 HuggingFace 开源大模型
PawBench – 阿里通义推出的通用智能体评测基准
AIGC 资讯

PawBench – 阿里通义推出的通用智能体评测基准

Prompt 语宙研究院
AI办公效率 AI智能体 大模型微调 开源大模型 通义千问
Pemo – AI文档管理工具,支持一键翻译智能总结文献摘要
AIGC 资讯

Pemo – AI文档管理工具,支持一键翻译智能总结文献摘要

Prompt 语宙研究院
AI办公效率 AI音频与语音 Kimi RAG检索增强 开源大模型
BAGEL – 字节跳动开源的多模态基础模型
AIGC 资讯

BAGEL – 字节跳动开源的多模态基础模型

Prompt 语宙研究院
3D与空间智能 AI绘画提示词 AI视频生成 stable diffusion 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.