---
title: "GenXD – 新加坡国立和微软共同推出的通用3D和4D联合生成框架"
url: "https://paooo.com/aigc-news/25697/"
author: "Prompt 语宙研究院"
published_at: "2026-07-15T19:48:29+08:00"
updated_at: "2026-07-15T19:48:29+08:00"
categories: "AIGC 资讯"
tags: "3D与空间智能, AI视频生成"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# GenXD – 新加坡国立和微软共同推出的通用3D和4D联合生成框架

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/25697/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-15

## AI 30 秒核心看点 (TL;DR)

- GenXD把3D与4D生成统一到单一框架中，支持从任意数量条件图像生成场景。
- 核心亮点是解耦相机运动与物体运动，并用掩码潜在条件适配多视角输入。
- 生成结果还能用于优化3D表示，如3D高斯点云和Zip-NeRF，提升重建质量。

## GenXD是什么

GenXD是新加坡国立大学和微软公司共同推出的3D-4D联合生成框架，能从任意数量的条件图像中生成高质量的3D和4D场景。框架用一个数据整理流程从视频中提取相机姿态和物体运动强度，基于这些信息及大规模4D数据集CamVid-30K训练模型。GenXD基于多视角时序模块解耦相机和物体的运动，用掩码潜在条件支持多种视角的条件生成，实现在单一模型中处理多种3D和4D生成任务。

## GenXD的主要功能

- **3D和4D场景生成**：GenXD能从单视图或多视图中生成高质量的3D和4D场景，包括动态和静态内容。

- **相机姿态估计**：基于结构从运动（SfM）技术，GenXD估计视频中的相机姿态，为生成与相机轨迹一致的视频提供基础。

- **物体运动估计**：基于深度估计和关键点跟踪，GenXD识别和模拟视频中物体的运动。

- **多视角时序模块**：框架内部的模块处理多视角和时间信息，解耦相机运动和物体运动，生成更加真实的动态场景。

- **掩码潜在条件**：GenXD支持用掩码潜在条件进行条件生成，支持模型在不改变网络结构的情况下接受任意数量的输入视图。

## GenXD的技术原理

- **数据整理流程**：GenXD基于一个数据整理流程从视频中提取相机姿态和物体运动信息，为后续的模型训练提供必要的数据。

- **多视角时序模块**：GenXD内部的多视角时序模块能够处理多视角和时间信息，用α融合策略在3D和4D数据中进行无缝学习。

- **掩码潜在条件扩散模型**：GenXD用掩码潜在条件扩散模型（LDM）生成不同相机视角和时间步长的图像，支持单视图和多视图生成。

- **解耦相机和物体运动**：基于多视角时序模块，GenXD分离相机运动和物体运动，对生成动态场景至关重要。

- **3D和4D数据融合**：GenXD在训练过程中结合3D和4D数据，让模型同时学习空间和时间信息，提高生成质量。

- **3D表示优化**：GenXD生成的图像直接用于优化3D表示，如3D高斯点云（3D-GS）和Zip-NeRF，实现高质量的3D场景重建。

## GenXD的项目地址

- **项目官网**：[gen-x-d.github.io](https://gen-x-d.github.io/?utm_source=ai-bot.cn)

- **GitHub仓库**：[https://github.com/HeliosZhao/GenXD](https://github.com/HeliosZhao/GenXD)

- **arXiv技术论文**：[https://arxiv.org/pdf/2411.02319](https://arxiv.org/pdf/2411.02319)

## GenXD的应用场景

- **视频游戏开发**：GenXD用于生成游戏中的3D和4D环境，提供更加真实和动态的游戏世界。

- **电影和视觉效果**：在电影制作中，GenXD创建复杂的3D场景和特效，减少实际拍摄和后期制作的成本。

- **虚拟现实（VR）和增强现实（AR）**：GenXD生成沉浸式的3D和4D内容，提升VR和AR应用的用户体验。

- **建筑和城市规划：**基于GenXD生成的3D模型，建筑师和城市规划者更直观地展示设计概念和规划方案。

- **教育和培训**：GenXD创建模拟环境，用在教育和专业培训，如模拟手术、历史重现等。

## 常见问题解答 (FAQ)

### GenXD适合做什么类型的3D生成？
GenXD适合从单视图或多视图生成高质量3D与4D场景，既能处理静态内容，也能处理带时间变化的动态场景，适用于需要统一建模空间与时间信息的任务。

### GenXD为什么能同时支持3D和4D生成？
它通过多视角时序模块解耦相机运动和物体运动，并结合3D与4D数据训练，让模型同时学习空间结构和时间变化，因此能在单一框架内完成两类生成任务。

### GenXD生成结果能用于后续重建吗？
可以。文中提到，GenXD生成的图像可直接用于优化3D表示，例如3D高斯点云（3D-GS）和Zip-NeRF，从而帮助获得更高质量的3D场景重建。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
