# Motion Dreamer – 香港科技大学推出的运动合理视频生成框架 - Link: https://paooo.com/aigc-news/22951/ - Published: 2026-06-09T10:16:37+08:00 - Author: 站外新闻 ## Motion Dreamer是什么 Motion Dreamer是香港科技大学（广州）研究者提出的[视频生成](https://ai-bot.cn/ai-video-generation-tools/) 框架，生成运动合理视频。基于两阶段生成方式，先基于输入图像和运动条件生成中间运动 表示，再利用该表示生成高细节视频。其引入实例流这一新运动模态，可实现从稀疏到密集 的运动控制，用户通过提供稀疏运动提示，模型能生成时间连贯视频。训练时采用随机掩码 实例流策略，提升模型推理能力和泛化能力。在Physion数据集及自动驾驶数据集上的实验表明， Motion Dreamer在运动连贯性和物理合理性方面显著优于其他模型，同时生成高质量视频。 阅读目录 * [Motion Dreamer是什么](https://paooo.com/aigc-news/22951/#motion-dreamer%e6%98%af%e4%bb%80%e4%b9%88) * [Motion Dreamer的主要功能](https://paooo.com/aigc-news/22951/#motion-dreamer%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd) * [Motion Dreamer的技术原理](https://paooo.com/aigc-news/22951/#motion-dreamer%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86) * [Motion Dreamer的项目地址](https://paooo.com/aigc-news/22951/#motion-dreamer%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80) * [Motion Dreamer的应用场景](https://paooo.com/aigc-news/22951/#motion-dreamer%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af) ![Motion Dreamer – 香港科技大学推出的运动合理视频生成框架 - 配图](https://paooo. com/wp-content/uploads/2026/06/Motion-Dreamer-website-1.avif) ## Motion Dreamer的主要功能 * **生成物理连贯的视频**：作为一个两阶段视频生成框架，Motion Dreamer能生成符合物理 规律的视频。在第一阶段，模型基于输入图像和运动条件生成中间运动表示，如分割图或 深度图，专注于运动本身；在第二阶段，采用中间运动表示生成高细节的视频。 * **实现稀疏到密集的运动控制**：引入了实例流这一新的运动模态，用户可以提供稀疏的 运动提示，如表示平均光流的方向箭头，模型能生成像素对齐的密集运动表示，实现时间 连贯的视频生成。 * **增强模型推理能力**：采用随机掩码实例流的训练策略，训练时随机掩码部分实例流， 要求模型重建完整的密集运动表示，促使模型推断缺失的运动提示，提高了模型的泛化能力 和基于推理的运动生成效果。 ## Motion Dreamer的技术原理 * **两阶段生成框架** - **第一阶段：运动推理**：基于输入图像和运动条件，生成中间运动表示，如分割图 或深度图，专注于运动本身。这一阶段采用基于扩散的视频生成模型，强调低频运动 表示，以提高时间连贯性。具体来说，模型会预测光流、实例分割图和深度图等中间 运动表示，这些表示共同构成了对场景动态的全面描述。 - **第二阶段：高保真视频合成**：利用第一阶段生成的中间运动表示作为条件，生成 高细节的视频。通过将运动推理与视频合成解耦，使得模型能够更准确地生成符合物理 规律的运动，同时保持视频的高质量细节。 * **实例流：**实例流是一种新的稀疏到密集的运动模态，用于连接人类输入与密集运动表示。 为了将实例流有效地整合到模型中，会准备多尺度版本的实例流，匹配网络中不同尺度的 特征图。然后通过Softmax Splatting函数，根据流场将特征图进行变形，将特征分布到 新的位置，无缝地整合运动信息，同时保持可微性以支持端到端训练。 * **随机掩码实例流训练策略**：在训练过程中，随机掩码部分实例流，要求模型重建完整 的密集运动表示。促使模型推断缺失的运动提示，增强模型的泛化能力和基于推理的运动 生成效果。通过训练模型处理不完整的运动信息，能更好地理解和预测对象之间的交互以及 合理的运动轨迹，即使在输入稀疏的情况下也能生成合理的运动。 ## Motion Dreamer的项目地址 * **项目官网**：[https://envision-research.github.io/MotionDreamer](https://envision-research.github.io/MotionDreamer/?utm_source=ai-bot.cn) * **Github仓库**：[https://github.com/EnVision-Research/MotionDreamer](https://github.com/EnVision-Research/MotionDreamer) * **arXiv技术论文**：[https://arxiv.org/pdf/2412.00547](https://arxiv.org/pdf/2412.00547) ## Motion Dreamer的应用场景 * **视频内容创作**：在电影、电视剧、广告等视频内容制作中，Motion Dreamer可以生成 高质量且物理连贯的视频片段，为创作者提供更多的创意空间和素材选择。 * **动画制作**：对于动画电影和游戏动画的制作，Motion Dreamer能生成逼真的角色动画， 减少手动动画制作的时间和成本，提高动画制作的效率。 * **沉浸式体验**：在VR和AR应用中，Motion Dreamer可以生成逼真的虚拟场景和动态效果， 为用户提供更加沉浸式的体验。 * **交互式应用**：通过用户输入稀疏的运动提示，Motion Dreamer能生成与用户交互的动态 内容，实现更加自然和流畅的交互体验。 * **驾驶场景模拟**：Motion Dreamer可以在自动驾驶领域用于生成各种复杂的驾驶场景， 帮助测试和优化自动驾驶算法。 * **交通流量分析**：用Motion Dreamer生成的大量驾驶场景数据，可以进行交通流量分析 和预测，为城市交通规划和管理提供参考依据。 **🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [⚡ AIGC 早报生成器](https://paooo.com/mtool/)