---
title: "Matrix3D – 南大联合Apple、港科大推出的统一摄影测量模型"
url: "https://paooo.com/aigc-news/21921/"
author: "Prompt 语宙研究院"
published_at: "2026-06-08T17:03:28+08:00"
updated_at: "2026-06-08T17:03:28+08:00"
categories: "AIGC 资讯"
tags: "3D与空间智能, AI绘画提示词, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# Matrix3D – 南大联合Apple、港科大推出的统一摄影测量模型

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/21921/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-08

## AI 30 秒核心看点 (TL;DR)

- 统一摄影测量模型Matrix3D把姿态、深度和新视图合成整合到一个框架中，减少多模型切换成本。
- 核心亮点是多模态DiT与掩码学习：可利用不完整数据训练，显著扩大可用样本并提升泛化能力。
- 结合3D高斯溅射优化后，Matrix3D可用于单张或少量图像的高质量3D重建，实用性强。

## Matrix3D是什么

Matrix3D 是南京大学、苹果公司和香港科技大学合作推出的新型的统一摄影测量模型，能在一个模型中完成多个摄影测量子任务，包括姿态估计、深度预测和新视图合成。Matrix3D 的核心是多模态扩散变换器（DiT），通过整合图像、相机参数和深度图等多种模态的数据，实现灵活的任务处理。 Matrix3D 的训练采用了掩码学习策略，在部分数据缺失的情况下，也能基于双模态数据（如图像-姿态或图像-深度对）进行全模态训练，显著增加了可用的训练数据量。Matrix3D 支持多轮交互，用户可以通过逐步输入信息来优化生成结果，在 3D 内容创作中具有很强的灵活性。

## Matrix3D的主要功能

- **姿态估计（Pose Estimation）**：能从稀疏视角的图像中估计相机的姿态，在图像重叠度低的情况下，能准确预测相机的相对位置和方向。

- **深度预测（Depth Prediction）**：可以从单目或多视角图像中预测高质量的深度图。模型支持从少量图像中生成深度信息，可用于后续的3D重建任务。

- **新视图合成（Novel View Synthesis）**：能根据输入图像生成任意姿态的新视图图像。支持从单张或多张图像中合成新的视角。

- **3D重建（3D Reconstruction）**：结合姿态估计、深度预测和新视图合成的结果，Matrix3D可以用于单张或少量图像的3D重建。通过与3D高斯溅射（3DGS）优化结合，模型能生成高质量的3D点云。

- **多任务交互与灵活性**：Matrix3D支持灵活的输入/输出配置，能根据用户提供的信息动态调整任务。

- **掩码学习与数据利用**：通过掩码学习策略，Matrix3D能基于部分完整的数据进行训练，显著增加了可用训练数据的范围，提高了模型的泛化能力。

## Matrix3D的技术原理

- **多模态扩散变换器**：Matrix3D 使用扩散变换器架构，能够处理多种模态的数据（如 RGB 图像、相机姿态和深度图），并将它们统一为二维表示，实现跨模态的特征融合和生成。

- **掩码学习策略**：模型在训练时采用掩码学习，随机对输入数据进行掩码处理，学习从含噪数据中恢复出干净的输出。能处理不完整的输入数据，显著增加可用的训练数据量。

- **统一的概率模型**：Matrix3D 基于统一的概率模型，通过灵活的输入/输出配置，能动态调整任务需求，支持姿态估计、深度预测和新视图合成等多种摄影测量任务。

- **3D 高斯溅射优化**：生成的深度图和新视图图像可以用于初始化 3D 高斯溅射（3DGS）优化，实现高质量的 3D 点云重建。

- **数据归一化**：通过场景归一化和相机归一化技术，Matrix3D 能处理不同数据集的多样化分布，确保不同模态的数据在统一的尺度和坐标系下进行处理。

## Matrix3D的项目地址

- **项目官网**：[https://nju-3dv.github.io/projects/matrix3d/](https://nju-3dv.github.io/projects/matrix3d/?utm_source=ai-bot.cn)

- **arXiv技术论文**：[https://arxiv.org/pdf/2502.07685](https://arxiv.org/pdf/2502.07685)

## Matrix3D的应用场景

- **虚拟现实（VR）和增强现实（AR）**：Matrix3D 可以从少量二维图像生成高质量的新视图和深度信息，为 VR 和 AR 应用提供丰富的 3D 场景和物体模型。

- **游戏开发**：Matrix3D 能快速生成 3D 场景和物体的几何信息，帮助游戏开发者从概念图或少量参考图像中快速创建游戏中的 3D 模型。

- **影视制作**：Matrix3D 可以用于从少量拍摄的二维图像生成完整的 3D 场景，方便后期特效制作和虚拟摄影。

- **建筑设计**：Matrix3D 能从建筑图纸或少量照片中生成 3D 建筑模型，帮助设计师快速进行设计验证和客户展示。

- **虚拟试穿**：Matrix3D 能生成用户身体的 3D 模型，用于虚拟试穿服装和配饰。

## 常见问题解答 (FAQ)

### Matrix3D主要解决什么问题？
Matrix3D面向统一摄影测量任务，把姿态估计、深度预测和新视图合成整合到一个模型中，适合从少量图像中完成3D重建相关工作，减少多模型串联带来的复杂度。

### Matrix3D为什么适合数据不完整的场景？
它采用掩码学习策略，允许基于图像-姿态或图像-深度等双模态数据进行训练，即使缺少部分模态也能参与学习，从而扩大可用训练数据并提升泛化能力。

### Matrix3D能用于哪些实际应用？
可用于VR/AR、游戏开发、影视制作、建筑设计和虚拟试穿等场景，尤其适合从单张或少量照片生成深度信息、新视图和3D模型。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
