# Generative Omnimatte – 谷歌联合马里兰大学等机构推出的视频分解技术

- Link: https://paooo.com/aigc-news/25182/
- Published: 2026-07-12T08:48:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 将视频智能分解为多个 RGBA 图层，连阴影、反射等对象效应也能同步拆分。
 * 基于 Casper 扩散模型与 Trimask 控制，可精准擦除目标并尽量保留背景完整。
 * 适合电影后期、广告、VR/AR 等场景，支持背景替换、对象移除与创意编辑。

## Generative Omnimatte是什么

Generative Omnimatte 是 Google DeepMind 等机构推出的视频编辑技术，能将视频智能分解
为多个透明背景的RGBA图层，每个图层对应一个物体及其相关效果（如阴影、反射等）。无
需绿幕或深度信息，能实现物体与背景的精确分离，处理被遮挡的部分。Generative Omnimatte
的核心是一个名为“Casper”的视频扩散模型，能精准擦除视频中的物体及其阴影，同时保持
背景完好无损。用户能轻松实现各种创意效果，如瞬移、改变运动速度，甚至让时间倒流。

阅读目录

 * [Generative Omnimatte是什么](https://paooo.com/aigc-news/25182/#generative-omnimatte%e6%98%af%e4%bb%80%e4%b9%88)
 * [Generative Omnimatte的主要功能](https://paooo.com/aigc-news/25182/#generative-omnimatte%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Generative Omnimatte的技术原理](https://paooo.com/aigc-news/25182/#generative-omnimatte%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Generative Omnimatte的项目地址](https://paooo.com/aigc-news/25182/#generative-omnimatte%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Generative Omnimatte的应用场景](https://paooo.com/aigc-news/25182/#generative-omnimatte%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Generative Omnimatte – 谷歌联合马里兰大学等机构推出的视频分解技术 - 配图](https://
paooo.com/wp-content/uploads/2026/07/Generative-Omnimatte-website1-1.avif)

## Generative Omnimatte的主要功能

 * **视频分层**：将视频分解成多个 RGBA 层，每个层包含一个完全可见的对象及其相关的
   效应，如阴影和反射。
 * **视频编辑**：支持用户进行广泛的视频编辑操作，包括对象和效应的移除、背景替换等。
 * **动态背景处理**：处理动态背景，避免背景元素与前景对象层的纠缠。
 * **多对象场景**：有效处理包含多个对象的场景，包括相似对象的隔离和效应关联。
 * **用户指定的 Trimask**：支持用户用指定 Trimask 精细控制视频编辑过程中的保留和
   移除区域。

## Generative Omnimatte的技术原理

 * **对象效应移除模型 Casper**：给定输入视频和二进制对象掩码，用 Casper 模型生成
   干净的背景板和一系列单对象（solo）视频，应用不同的 Trimask 条件。
 * **Trimask 条件**：Trimask 指定保留（白色）、移除（黑色）和可能包含不确定对象效应（
   灰色）的区域。有助于精确处理多对象场景。
 * **测试时优化**：在第二阶段，用测试时优化从 solo 视频和背景视频对中重建 Omnimatte
   层。
 * **训练数据**：用多个数据集（Omnimatte、Tripod、Kubric 和 Object-Paste）训练模型，
   提供真实视频的因果关系示例，并增强模型处理多对象场景的能力。
 * **自注意力分析**：基于分析 Lumiere 模型的自注意力模式，研究文本到视频（T2V）模型
   对对象效应关联的内在理解，训练有效的对象效应移除模型。

## Generative Omnimatte的项目地址

 * **项目官网**：[https://gen-omnimatte.github.io/](https://gen-omnimatte.github.io/?utm_source=ai-bot.cn)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2411.16683](https://arxiv.org/pdf/2411.16683)

## Generative Omnimatte的应用场景

 * **电影和视频制作**：在电影制作中，移除不需要的背景元素，或者替换背景，实现特效
   场景的无缝合成。
 * **视频编辑和后期制作**：视频编辑者分离视频中的对象和背景，进行颜色校正、特效添加
   或其他创意编辑。
 * **广告制作**：在广告中，替换产品背景，或移除拍摄中的干扰元素，突出产品。
 * **虚拟现实和增强现实**：在 VR 和 AR 应用中，将现实世界的视频内容与虚拟元素结合，
   提供更加沉浸式的体验。
 * **游戏开发**：在游戏制作中，创建复杂的游戏环境，将现实世界的元素与虚拟游戏世界
   无缝融合。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**Solo ↗**

Mozilla推出的零编程无代码AI网站建设工具。

❓ 常见问题解答（FAQ）

Generative Omnimatte 能做什么？

它主要用于视频分层与编辑，可把视频拆成多个 RGBA 图层，并将对象、阴影、反射等效应
一起分离。适合做对象移除、背景替换、复杂场景分解和创意视频重构。

Generative Omnimatte 需要绿幕吗？

不需要。文章说明它无需绿幕或深度信息，就能对视频中的物体与背景进行精确分离，并处理
被遮挡部分，适合真实拍摄素材的后期编辑。

Generative Omnimatte 的核心技术是什么？

核心是名为 Casper 的视频扩散模型。它先根据输入视频和对象掩码生成干净背景与单对象
视频，再结合 Trimask 和测试时优化重建 Omnimatte 图层。

🔬 语宙深潜追问 · 进阶实操拆解

如何把复杂视频拆成可编辑图层？

先用分解模型把前景、背景、阴影和反射分开，再用 Trimask 约束每层的空间归属，避免对象
效应互相污染。落地时最好先处理镜头稳定、遮挡较少的片段，复杂运动场景再做局部修补。

这类技术会不会替代传统抠像？

不会完全替代，但会显著提升高难场景的效率。传统抠像在边缘清晰、主体单一时仍便宜可靠，
而生成式分解更适合处理阴影、反射和多对象交叠，属于更高阶的编辑能力。

🗳️ 读者观点微投票 · 您的实战立场是？

视频分解技术最先改变哪个环节？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🌐 所属权威专题：Gemini 全模态与空间智能 →](https://paooo.com/topics/gemini-multimodal/)

 * [OmniCam – 浙大联合上海交大等高校推出的多模态视频生成框架](https://paooo.com/aigc-news/20521/)
 * [ObjectMover – 港大联合 Adobe 推出的新型图像编辑模型](https://paooo.com/aigc-news/20698/)
 * [​打破专用模型桎梏！谷歌 DeepMind 发布 GenCeption，一个 AI 搞定五大视觉任务](https://paooo.com/aigc-news/34890/)
 * [单次15秒高清连贯、价格暴降30%！Google DeepMind发布Gemini Omni 1.2 Flash：多轮对话局部重绘与Arena霸榜全景拆解](https://paooo.com/aigc-news/41570/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25182/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)