--- title: "Generative Omnimatte – 谷歌联合马里兰大学等机构推出的视频分解技术" url: "https://paooo.com/aigc-news/25182/" author: "Prompt 语宙研究院" published_at: "2026-07-12T08:48:29+08:00" updated_at: "2026-07-12T08:48:29+08:00" categories: "AIGC 资讯" tags: "3D与空间智能, AI视频生成, Gemini, 开源大模型" source: "Prompt 语宙 (https://paooo.com)" ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)" --- # Generative Omnimatte – 谷歌联合马里兰大学等机构推出的视频分解技术 > 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/25182/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-12 ## AI 30 秒核心看点 (TL;DR) - 将视频智能分解为多个 RGBA 图层，连阴影、反射等对象效应也能同步拆分。 - 基于 Casper 扩散模型与 Trimask 控制，可精准擦除目标并尽量保留背景完整。 - 适合电影后期、广告、VR/AR 等场景，支持背景替换、对象移除与创意编辑。 ## Generative Omnimatte是什么 Generative Omnimatte 是 Google DeepMind 等机构推出的视频编辑技术，能将视频智能分解为多个透明背景的RGBA图层，每个图层对应一个物体及其相关效果（如阴影、反射等）。无需绿幕或深度信息，能实现物体与背景的精确分离，处理被遮挡的部分。Generative Omnimatte的核心是一个名为“Casper”的视频扩散模型，能精准擦除视频中的物体及其阴影，同时保持背景完好无损。用户能轻松实现各种创意效果，如瞬移、改变运动速度，甚至让时间倒流。 ## Generative Omnimatte的主要功能 - **视频分层**：将视频分解成多个 RGBA 层，每个层包含一个完全可见的对象及其相关的效应，如阴影和反射。 - **视频编辑**：支持用户进行广泛的视频编辑操作，包括对象和效应的移除、背景替换等。 - **动态背景处理**：处理动态背景，避免背景元素与前景对象层的纠缠。 - **多对象场景**：有效处理包含多个对象的场景，包括相似对象的隔离和效应关联。 - **用户指定的 Trimask**：支持用户用指定 Trimask 精细控制视频编辑过程中的保留和移除区域。 ## Generative Omnimatte的技术原理 - **对象效应移除模型 Casper**：给定输入视频和二进制对象掩码，用 Casper 模型生成干净的背景板和一系列单对象（solo）视频，应用不同的 Trimask 条件。 - **Trimask 条件**：Trimask 指定保留（白色）、移除（黑色）和可能包含不确定对象效应（灰色）的区域。有助于精确处理多对象场景。 - **测试时优化**：在第二阶段，用测试时优化从 solo 视频和背景视频对中重建 Omnimatte 层。 - **训练数据**：用多个数据集（Omnimatte、Tripod、Kubric 和 Object-Paste）训练模型，提供真实视频的因果关系示例，并增强模型处理多对象场景的能力。 - **自注意力分析**：基于分析 Lumiere 模型的自注意力模式，研究文本到视频（T2V）模型对对象效应关联的内在理解，训练有效的对象效应移除模型。 ## Generative Omnimatte的项目地址 - **项目官网**：[https://gen-omnimatte.github.io/](https://gen-omnimatte.github.io/?utm_source=ai-bot.cn) - **arXiv技术论文**：[https://arxiv.org/pdf/2411.16683](https://arxiv.org/pdf/2411.16683) ## Generative Omnimatte的应用场景 - **电影和视频制作**：在电影制作中，移除不需要的背景元素，或者替换背景，实现特效场景的无缝合成。 - **视频编辑和后期制作**：视频编辑者分离视频中的对象和背景，进行颜色校正、特效添加或其他创意编辑。 - **广告制作**：在广告中，替换产品背景，或移除拍摄中的干扰元素，突出产品。 - **虚拟现实和增强现实**：在 VR 和 AR 应用中，将现实世界的视频内容与虚拟元素结合，提供更加沉浸式的体验。 - **游戏开发**：在游戏制作中，创建复杂的游戏环境，将现实世界的元素与虚拟游戏世界无缝融合。 ## 常见问题解答 (FAQ) ### Generative Omnimatte 能做什么？ 它主要用于视频分层与编辑，可把视频拆成多个 RGBA 图层，并将对象、阴影、反射等效应一起分离。适合做对象移除、背景替换、复杂场景分解和创意视频重构。 ### Generative Omnimatte 需要绿幕吗？ 不需要。文章说明它无需绿幕或深度信息，就能对视频中的物体与背景进行精确分离，并处理被遮挡部分，适合真实拍摄素材的后期编辑。 ### Generative Omnimatte 的核心技术是什么？ 核心是名为 Casper 的视频扩散模型。它先根据输入视频和对象掩码生成干净背景与单对象视频，再结合 Trimask 和测试时优化重建 Omnimatte 图层。 --- 探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)