---
title: "CAT4D – 谷歌和哥伦比亚大学等高校推出的单目视频创建4D场景方法"
url: "https://paooo.com/aigc-news/25152/"
author: "Prompt 语宙研究院"
published_at: "2026-07-12T03:48:29+08:00"
updated_at: "2026-07-12T03:48:29+08:00"
categories: "AIGC 资讯"
tags: "3D与空间智能, AI视频生成, Gemini"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# CAT4D – 谷歌和哥伦比亚大学等高校推出的单目视频创建4D场景方法

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/25152/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-12

## AI 30 秒核心看点 (TL;DR)

- 从单目视频直接生成4D动态3D场景，兼顾新视角合成与时间变化建模。
- 核心亮点是多视图视频扩散模型，可分离相机控制与场景动态控制。
- 生成结果可用于可变形3D高斯重建，并支持浏览器中实时交互查看。

## CAT4D是什么

CAT4D是Google DeepMind、哥伦比亚大学和加州大学圣地亚哥分校共同推出的，能从单目视频创建4D场景（动态3D）表示。CAT4D基于多视图视频扩散模型，能在任意指定的相机姿态和时间点合成新视图，并将单目视频转换为多视图视频，实现稳健的4D重建。CAT4D能从真实视频中生成4D场景，从生成的视频中创建4D内容，为电影制作、游戏开发、虚拟现实等领域带来创新应用的可能。

## CAT4D的主要功能

- **4D场景创建**：从单目视频（无论是真实拍摄还是计算机生成）创建出4D（动态3D）场景。

- **多视图视频生成**：给定一个单目视频输入，生成在新视点的多视图视频。

- **动态3D场景重建**：用生成的多视图视频，重建出动态变化的3D场景，这些场景能表示为随时间变形的3D高斯模型。

- **分离相机和时间控制**：CAT4D的核心是一个多视图视频扩散模型，能分离相机视点控制和场景动态控制，支持用户独立操作相机视角和场景中的时间变化。

- **实时渲染**：基于交互式查看器，支持用户在浏览器中实时渲染4D场景，提供一种直观的体验方式。

## CAT4D的技术原理

- **多视图视频扩散模型**：基于多视图视频扩散模型，模型接受一组输入视图（包括图像、相机参数和时间信息），并生成在指定视点和时间的目标帧。

- **数据集训练**：由于动态场景的多视图训练数据稀缺，CAT4D的训练涉及真实和合成数据源的混合，包括静态场景的多视图图像、固定视点视频、合成4D数据等。

- **新视角合成**：模型根据输入的单目视频，在新的时间点和视点合成场景的外观，实现从单目输入到多视图输出的转换。

- **优化可变形3D高斯表示**：生成的多视图视频用在基于优化一个可变形的3D高斯表示重建动态3D模型，这种表示方法能捕捉场景的动态变化。

- **分离控制**：CAT4D能独立控制相机运动和场景动态，使从给定的输入图像生成不同时间和视点的输出序列成为可能。

- **交替采样策略**：为生成足够一致的多视图视频进行准确的4D重建，CAT4D基于一种交替采样策略，该策略在多视图采样和时间采样之间交替进行，确保视频在时间和视点上的一致性。

## CAT4D的项目地址

- **项目官网**：[cat-4d.github.io](https://cat-4d.github.io/?utm_source=ai-bot.cn)

- **arXiv技术论文**：[https://arxiv.org/pdf/2411.18613](https://arxiv.org/pdf/2411.18613)

## CAT4D的应用场景

- **电影和视频制作**：在电影和视频制作中，基于从现有的2D视频创建3D场景，增加视觉特效，或生成新的视角和场景动态。

- **游戏开发**：在游戏开发中，生成更加真实和动态的游戏环境，提供更加丰富的玩家体验。

- **虚拟现实（VR）和增强现实（AR）**：创建逼真的3D环境和对象，用在虚拟现实和增强现实应用，提升用户的沉浸感。

- **3D建模和设计**：设计师从现有的视频资料中提取和重建3D模型，加速产品设计和原型制作。

- **教育和培训**：在教育领域，创建历史事件或科学现象的动态3D重现，提供更加直观的学习体验。

## 常见问题解答 (FAQ)

### CAT4D能把普通视频变成4D场景吗？
可以。CAT4D的目标就是从单目视频输入生成4D场景表示，先合成多视图视频，再重建动态3D场景。它既支持真实拍摄视频，也支持计算机生成视频，适合做新视角展示和动态重建。

### CAT4D和普通3D重建方法有什么区别？
CAT4D不仅重建静态3D结构，还显式建模时间变化，能表示随时间变形的动态3D场景。它通过多视图视频扩散模型把单目视频转成多视图，再用可变形3D高斯进行4D重建。

### CAT4D适合哪些应用场景？
适合电影和视频制作、游戏开发、VR/AR、3D建模设计以及教育培训等场景。它能从现有视频中生成新视角和动态效果，帮助提升沉浸感、加速原型制作，并增强内容表现力。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)