# Prometheus – 浙大联合蚂蚁等高校推出的3D感知潜在扩散模型

- Link: https://paooo.com/aigc-news/22908/
- Published: 2026-06-09T03:16:37+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 几秒钟内完成文本到 3D 场景生成，兼顾高质量输出与良好泛化能力。
 * 通过 RGB-D 潜在空间解耦外观与几何，提升保真度和几何质量。
 * 两阶段训练 + 前馈生成 + CFG，引导多视图一致并保持文本对齐。

## Prometheus是什么

Prometheus是创新的3D感知潜在扩散模型，专门用于快速生成文本到3D场景的内容。能在几秒
钟内完成对象和场景级别的3D生成，同时保持高质量的输出和良好的泛化能力。核心在于基于
2D先验知识来驱动高效且可泛化的3D合成过程。通过将3D场景生成表述为多视图、前馈、像
素对齐的3D高斯生成过程，在潜在扩散范式内进行操作，Prometheus能有效地从文本描述中
生成具有丰富细节和准确几何结构的3D场景。基于预训练的文本到图像生成模型进行微调，
引入RGB-D潜在空间来解耦外观和几何信息，提升生成的保真度和几何质量。

阅读目录

 * [Prometheus是什么](https://paooo.com/aigc-news/22908/#prometheus%e6%98%af%e4%bb%80%e4%b9%88)
 * [Prometheus的主要功能](https://paooo.com/aigc-news/22908/#prometheus%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Prometheus的技术原理](https://paooo.com/aigc-news/22908/#prometheus%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Prometheus的项目地址](https://paooo.com/aigc-news/22908/#prometheus%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Prometheus的应用场景](https://paooo.com/aigc-news/22908/#prometheus%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Prometheus – 浙大联合蚂蚁等高校推出的3D感知潜在扩散模型 - 配图](https://paooo.
com/wp-content/uploads/2026/06/Prometheus-website-1.avif)

## Prometheus的主要功能

 * **高效的3D生成**：能在几秒钟内生成复杂的3D场景，包括对象和整个场景级别，提高3D
   内容创作的效率。
 * **高质量输出**：生成的3D场景在视觉保真度和几何质量上表现出色，能准确地反映文本
   描述中的细节和背景信息。
 * **良好的泛化能力**：通过在大规模单视图和多视图数据集上进行训练，Prometheus能泛
   化到各种不同的3D对象和场景，具有与[Stable Diffusion](https://paooo.com/tag/stable-diffusion/)
   相当的泛化能力。
 * **多视图一致性**：生成的3D场景在多视图下保持一致性，在大旋转或极端视角下也能保持
   稳定的视觉效果。
 * **文本到3D的对齐**：生成的3D场景能准确地与输入的文本提示对齐，确保生成的内容符合
   用户的描述和期望。

## Prometheus的技术原理

 * **两阶段训练框架**
    - **第一阶段：3D高斯变分自编码器（GS-VAE）**使用预训练的图像编码器（如Stable
      Diffusion的编码器）将RGB图像和预测的单目深度图编码到潜在空间。通过多视图Transformer
      整合跨视图信息，并注入相机姿态信息。将融合后的隐空间变量解码为像素对齐的3D
      高斯场景。像素对齐的3D高斯场景，作为场景级别的表示。
    - **第二阶段：多视图潜在扩散模型（MV-LDM）**通过去噪扩散过程，联合预测多视图
      RGB-D潜在空间代码，条件为相机姿态和文本提示。从随机采样的高斯噪声开始，通过
      迭代去噪过程恢复多视图隐空间编码。多视图RGB-D潜在空间代码，用于生成最终的3D
      场景。
 * **RGB-D潜在空间的引入：**Prometheus引入RGB-D潜在空间，将外观（RGB）和几何信息（
   D）解耦，提升生成的保真度和几何质量。模型能更高效地生成3D高斯，同时保持高质量
   的视觉效果。
 * **前馈生成策略：**Prometheus采用前馈生成策略，相比传统的优化方法，减少了生成时间，
   提高了生成效率。通过从潜在空间中采样多视图RGB-D潜在空间代码，使用GS-VAE解码器
   解码为3D高斯场景，实现了快速且高质量的3D场景生成。
 * **无分类器引导（CFG）：**为了确保生成的3D场景与文本提示对齐，Prometheus使用无
   分类器引导（CFG）来引导多视图生成过程。通过调整引导强度，平衡多视图一致性和保
   真度，避免生成结果中的多视图不一致问题。
 * **大规模数据集训练：**Prometheus在大规模单视图和多视图数据集上进行训练，确保模型
   具有良好的泛化能力。数据集包括多种场景类型，如对象中心、室内、室外和驾驶场景，
   文本提示由多模态大语言模型生成。
 * **损失函数：**在训练过程中，Prometheus使用多种损失函数，包括均方误差（MSE）损失、
   感知损失和尺度不变深度损失，确保生成的3D场景在视觉和几何上与输入图像和深度图对
   齐。

## Prometheus的项目地址

 * **项目官网**：[https://freemty.github.io/project-prometheus](https://freemty.github.io/project-prometheus/?utm_source=ai-bot.cn)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.21117](https://arxiv.org/pdf/2412.21117)

## Prometheus的应用场景

 * **内容创作**：快速生成逼真的3D场景和对象，用于VR和AR应用中的虚拟环境构建。例如，
   创建虚拟展览、虚拟旅游、虚拟教育场景等。
 * **实时交互**：在VR和AR应用中，用户可以通过文本输入实时生成和修改3D场景，增强交互
   体验。
 * **场景设计**：快速生成游戏中的各种场景，如城市、森林、沙漠等，提高游戏开发效率。
   开发者可以通过简单的文本描述生成复杂的3D环境，减少手动建模的时间和成本。
 * **概念设计**：建筑师和室内设计师可以使用Prometheus快速生成建筑和室内设计的3D模型，
   用于初步设计和客户展示。通过文本描述，快速生成不同风格和布局的3D场景，提高设计
   效率。
 * **虚拟展示**：生成的3D场景可以用于虚拟展示，客户可以通过VR设备沉浸式地体验设计
   效果，提供更直观的反馈。

❓ 常见问题解答（FAQ）

Prometheus 适合做什么类型的3D生成？

它主要用于文本到3D场景生成，既能生成对象级3D内容，也能生成场景级3D环境。适合 VR/
AR、游戏场景、建筑概念设计和虚拟展示等需要快速出图、快速验证想法的场景。

Prometheus 为什么比传统3D生成更快？

它采用前馈生成策略，不依赖传统慢速优化流程，而是从潜在空间直接采样并解码为3D高斯
场景，因此能在几秒钟内完成生成，显著提升效率。

Prometheus 的核心技术亮点是什么？

核心亮点是两阶段训练框架、RGB-D 潜在空间和多视图潜在扩散模型。前者负责学习3D高斯
表示，后者负责联合生成多视图潜在代码，从而兼顾几何质量、视觉保真度和多视图一致性。

🔬 语宙深潜追问 · 进阶实操拆解

3D感知扩散模型适合哪些工作流？

更适合快速概念验证、场景草图、游戏原型和VR/AR预览，而不是直接替代高精度资产生产。
它的价值在于把“从想法到可视化”的时间压缩到几秒，再交给美术做精修。

如何提升多视图一致性和几何准确性？

要在输入阶段尽量提供深度信息、视角约束和目标尺度，训练或推理时加入一致性损失与后
处理校正。落地时还应结合网格重建和人工检查，避免生成结果看着对、结构却不稳。

🗳️ 读者观点微投票 · 您的实战立场是？

几秒生成3D场景，能替代传统建模吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [PhysGen3D – 清华等高校联合推出的单图创建交互式 3D 场景](https://paooo.com/aigc-news/20695/)
 * [HoloDreamer – AI文本驱动3D场景生成框架](https://paooo.com/aigc-news/27444/)
 * [Edify 3D – NVIDIA 推出的3D生成模型](https://paooo.com/aigc-news/25313/)
 * [SpatialGen重磅开源：群核科技发布革命性3D场景生成模型，一键创建时空一致的沉浸式空间](https://paooo.com/aigc-news/13997/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22908/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
