# DreamVideo-2 – 复旦和阿里联合多机构推出的零样本视频定制生成框架

- Link: https://paooo.com/aigc-news/25954/
- Published: 2026-07-17T07:18:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 无需测试时微调，单图+界定框序列即可生成定制视频。
 * 参考注意力学习主题外观，掩码引导模块实现精确运动轨迹控制。
 * 在主题定制与运动控制上优于现有先进方法，实用性强。

## DreamVideo-2是什么

DreamVideo-2是创新的零样本视频定制框架，复旦大学和阿里巴巴集团等机构联合推出。DreamVideo-
2能根据单一图像和界定框序列生成具有特定主题和精确运动轨迹的视频，无需在测试时进行
微调。框架用参考注意力机制学习主题外观，基于从界定框导出的二值掩码控制运动轨迹，
实现精确的运动控制。DreamVideo-2引入混合掩码参考注意力和重加权扩散损失，增强主题
表征、平衡主题学习与运动控制。研究团队用WebVid-10M数据集和内部数据支持零样本视频
定制任务。DreamVideo-2在主题定制和运动控制方面均优于现有的先进方法，展现在视频定制
领域的潜力和实用性。

阅读目录

 * [DreamVideo-2是什么](https://paooo.com/aigc-news/25954/#dreamvideo2%e6%98%af%e4%bb%80%e4%b9%88)
 * [DreamVideo-2的主要功能](https://paooo.com/aigc-news/25954/#dreamvideo2%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [DreamVideo-2的技术原理](https://paooo.com/aigc-news/25954/#dreamvideo2%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [DreamVideo-2的项目地址](https://paooo.com/aigc-news/25954/#dreamvideo2%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [DreamVideo-2的应用场景](https://paooo.com/aigc-news/25954/#dreamvideo2%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![DreamVideo-2](https://paooo.com/wp-content/uploads/2026/07/DreamVideo-2-website-
1.avif)

## DreamVideo-2的主要功能

 * **零样本定制**：无需在测试时进行微调，能直接根据用户提供的单一图像和界定框序列
   生成具有特定主题和精确运动轨迹的视频。
 * **主题学习**：基于参考注意力机制，用模型的固有能力学习、生成特定主题的外观。
 * **精确运动控制**：用从界定框导出的二值掩码控制视频中主题的运动轨迹，实现精确的
   运动控制。
 * **混合掩码参考注意力**：基于混合潜在掩码建模方案增强目标位置的主题表征，提升主题
   的准确性。
 * **重加权扩散损失**：区分界定框内外区域的贡献，确保主题学习和运动控制之间的平衡。

## DreamVideo-2的技术原理

 * **参考注意力机制**：
    - 基于视频扩散模型的多尺度特征提取能力，将用户提供的单一主题图像作为单帧视频
      输入模型，获取主题注意力特征。
    - 基于残差交叉注意力将主题特征注入到视频特征中，增强模型对特定主题的学习能力。
 * **掩码引导的运动模块**：
    - 将用户定义的界定框序列转换为二值掩码序列，用在指示视频中主题的运动轨迹。
    - 设计包含时空编码器和空间ControlNet的掩码引导运动模块，从掩码序列中提取运动
      信息实现精确控制。
 * **混合掩码参考注意力**：在参考注意力中引入混合潜在掩码建模，基于调整掩码中背景
   的权重，增强目标位置的主题表征。
 * **重加权扩散损失**：设计新的损失函数，基于调整界定框内外区域的损失贡献权重，平衡
   主题学习和运动控制。
 * **训练与推理**：
    - 在训练阶段，冻结原始3D UNet参数，联合训练新添加的组件，如混合掩码参考注意力
      和掩码引导的运动模块。
    - 在推理阶段，用户提供主题图像和界定框序列，能生成定制视频，无需额外的微调或
      注意力图修改。
 * **数据集构建**：构建新的单主题视频数据集，包含视频掩码和边界框，用Grounding DINO、
   SAM和DEVA模型生成注释，支持零样本视频定制任务。

## DreamVideo-2的项目地址

 * **项目官网**：[dreamvideo2.github.io](https://dreamvideo2.github.io/?utm_source=ai-bot.cn)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2410.13830](https://arxiv.org/pdf/2410.13830)

## DreamVideo-2的应用场景

 * **娱乐与社交媒体**：用户根据个人喜好，快速生成包含特定人物或物体的视频内容，用
   在社交媒体分享或个人娱乐。
 * **电影与视频制作**：电影制作人用DreamVideo-2预览特效或场景，或生成特定的动作序列，
   减少实际拍摄的成本和时间。
 * **广告与营销**：基于定制视频内容，企业能创建更具吸引力的广告，用特定产品或品牌
   为主题，提高广告的个性化和互动性。
 * **教育与培训**：教育机构用DreamVideo-2生成教学视频，模拟特定的实验过程或历史事件，
   增强学习体验。
 * **新闻与报道**：新闻机构快速生成新闻故事的视觉内容，尤其是对于难以现场拍摄的事件。

❓ 常见问题解答（FAQ）

DreamVideo-2支持什么输入生成视频？

它支持单一主题图像和界定框序列作为输入，前者用于学习主题外观，后者转成二值掩码后
控制运动轨迹，从而生成带特定主题且运动可控的视频。

DreamVideo-2为什么说是零样本视频定制？

因为它在测试时不需要针对新主题额外微调，也不需要修改注意力图，直接用用户提供的图像
和界定框序列即可完成定制生成。

DreamVideo-2相比现有方法的优势是什么？

核心优势是同时兼顾主题一致性和运动精度。它通过混合掩码参考注意力与重加权扩散损失，
增强主题表征并平衡运动控制，实验结果优于现有先进方法。

🔬 语宙深潜追问 · 进阶实操拆解

单图加框序列怎么用才稳？

先把主体图选清晰、边界明确的参考图，再用少量关键帧式框序列定义运动路径。框不要过
密，优先描述起止位置和大方向，能显著减少漂移与身份丢失。

哪些任务最适合零样本定制？

适合短视频广告、角色展示、概念预演和快速内容迭代这类“先出效果再精修”的场景。若需要
严格镜头连续性或复杂物理交互，通常还要结合后期修正或局部控制。

🗳️ 读者观点微投票 · 您的实战立场是？

零样本视频定制，真能替代微调吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Motion Dreamer – 香港科技大学推出的运动合理视频生成框架](https://paooo.com/aigc-news/22951/)
 * [CustomVideoX – 中科大联合浙大等推出的个性化视频生成框架](https://paooo.com/aigc-news/21960/)
 * [VideoMaker – 浙大联合腾讯和华为推出的零样本定制视频生成框架](https://paooo.com/aigc-news/23475/)
 * [VideoAnydoor – 港大联合阿里达摩院等机构推出的零样本视频对象插入框架](https://paooo.com/aigc-news/23272/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25954/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
