Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Prometheus – 浙大联合蚂蚁等高校推出的3D感知潜在扩散模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Prometheus – 浙大联合蚂蚁等高校推出的3D感知潜在扩散模型
Prompt 语宙 > AIGC 资讯 > Prometheus – 浙大联合蚂蚁等高校推出的3D感知潜在扩散模型
AIGC 资讯

Prometheus – 浙大联合蚂蚁等高校推出的3D感知潜在扩散模型

Prompt 语宙研究院
最近更新: 2026年6月9日 上午3:16
3D与空间智能 stable diffusion 大模型微调
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 几秒钟内完成文本到 3D 场景生成,兼顾高质量输出与良好泛化能力。
  • 通过 RGB-D 潜在空间解耦外观与几何,提升保真度和几何质量。
  • 两阶段训练 + 前馈生成 + CFG,引导多视图一致并保持文本对齐。

Prometheus是什么

Prometheus是创新的3D感知潜在扩散模型,专门用于快速生成文本到3D场景的内容。能在几秒钟内完成对象和场景级别的3D生成,同时保持高质量的输出和良好的泛化能力。核心在于基于2D先验知识来驱动高效且可泛化的3D合成过程。通过将3D场景生成表述为多视图、前馈、像素对齐的3D高斯生成过程,在潜在扩散范式内进行操作,Prometheus能有效地从文本描述中生成具有丰富细节和准确几何结构的3D场景。基于预训练的文本到图像生成模型进行微调,引入RGB-D潜在空间来解耦外观和几何信息,提升生成的保真度和几何质量。

阅读目录
  • Prometheus是什么
  • Prometheus的主要功能
  • Prometheus的技术原理
  • Prometheus的项目地址
  • Prometheus的应用场景

Prometheus – 浙大联合蚂蚁等高校推出的3D感知潜在扩散模型 - 配图

Prometheus的主要功能

  • 高效的3D生成:能在几秒钟内生成复杂的3D场景,包括对象和整个场景级别,提高3D内容创作的效率。
  • 高质量输出:生成的3D场景在视觉保真度和几何质量上表现出色,能准确地反映文本描述中的细节和背景信息。
  • 良好的泛化能力:通过在大规模单视图和多视图数据集上进行训练,Prometheus能泛化到各种不同的3D对象和场景,具有与Stable Diffusion相当的泛化能力。
  • 多视图一致性:生成的3D场景在多视图下保持一致性,在大旋转或极端视角下也能保持稳定的视觉效果。
  • 文本到3D的对齐:生成的3D场景能准确地与输入的文本提示对齐,确保生成的内容符合用户的描述和期望。

Prometheus的技术原理

  • 两阶段训练框架
    • 第一阶段:3D高斯变分自编码器(GS-VAE)使用预训练的图像编码器(如Stable Diffusion的编码器)将RGB图像和预测的单目深度图编码到潜在空间。通过多视图Transformer整合跨视图信息,并注入相机姿态信息。将融合后的隐空间变量解码为像素对齐的3D高斯场景。像素对齐的3D高斯场景,作为场景级别的表示。
    • 第二阶段:多视图潜在扩散模型(MV-LDM)通过去噪扩散过程,联合预测多视图RGB-D潜在空间代码,条件为相机姿态和文本提示。从随机采样的高斯噪声开始,通过迭代去噪过程恢复多视图隐空间编码。多视图RGB-D潜在空间代码,用于生成最终的3D场景。
  • RGB-D潜在空间的引入:Prometheus引入RGB-D潜在空间,将外观(RGB)和几何信息(D)解耦,提升生成的保真度和几何质量。模型能更高效地生成3D高斯,同时保持高质量的视觉效果。
  • 前馈生成策略:Prometheus采用前馈生成策略,相比传统的优化方法,减少了生成时间,提高了生成效率。通过从潜在空间中采样多视图RGB-D潜在空间代码,使用GS-VAE解码器解码为3D高斯场景,实现了快速且高质量的3D场景生成。
  • 无分类器引导(CFG):为了确保生成的3D场景与文本提示对齐,Prometheus使用无分类器引导(CFG)来引导多视图生成过程。通过调整引导强度,平衡多视图一致性和保真度,避免生成结果中的多视图不一致问题。
  • 大规模数据集训练:Prometheus在大规模单视图和多视图数据集上进行训练,确保模型具有良好的泛化能力。数据集包括多种场景类型,如对象中心、室内、室外和驾驶场景,文本提示由多模态大语言模型生成。
  • 损失函数:在训练过程中,Prometheus使用多种损失函数,包括均方误差(MSE)损失、感知损失和尺度不变深度损失,确保生成的3D场景在视觉和几何上与输入图像和深度图对齐。

Prometheus的项目地址

  • 项目官网:https://freemty.github.io/project-prometheus
  • arXiv技术论文:https://arxiv.org/pdf/2412.21117

Prometheus的应用场景

  • 内容创作:快速生成逼真的3D场景和对象,用于VR和AR应用中的虚拟环境构建。例如,创建虚拟展览、虚拟旅游、虚拟教育场景等。
  • 实时交互:在VR和AR应用中,用户可以通过文本输入实时生成和修改3D场景,增强交互体验。
  • 场景设计:快速生成游戏中的各种场景,如城市、森林、沙漠等,提高游戏开发效率。开发者可以通过简单的文本描述生成复杂的3D环境,减少手动建模的时间和成本。
  • 概念设计:建筑师和室内设计师可以使用Prometheus快速生成建筑和室内设计的3D模型,用于初步设计和客户展示。通过文本描述,快速生成不同风格和布局的3D场景,提高设计效率。
  • 虚拟展示:生成的3D场景可以用于虚拟展示,客户可以通过VR设备沉浸式地体验设计效果,提供更直观的反馈。
❓ 常见问题解答(FAQ)
Prometheus 适合做什么类型的3D生成?

它主要用于文本到3D场景生成,既能生成对象级3D内容,也能生成场景级3D环境。适合 VR/AR、游戏场景、建筑概念设计和虚拟展示等需要快速出图、快速验证想法的场景。

Prometheus 为什么比传统3D生成更快?

它采用前馈生成策略,不依赖传统慢速优化流程,而是从潜在空间直接采样并解码为3D高斯场景,因此能在几秒钟内完成生成,显著提升效率。

Prometheus 的核心技术亮点是什么?

核心亮点是两阶段训练框架、RGB-D 潜在空间和多视图潜在扩散模型。前者负责学习3D高斯表示,后者负责联合生成多视图潜在代码,从而兼顾几何质量、视觉保真度和多视图一致性。

🔬 语宙深潜追问 · 进阶实操拆解
3D感知扩散模型适合哪些工作流?

更适合快速概念验证、场景草图、游戏原型和VR/AR预览,而不是直接替代高精度资产生产。它的价值在于把“从想法到可视化”的时间压缩到几秒,再交给美术做精修。

如何提升多视图一致性和几何准确性?

要在输入阶段尽量提供深度信息、视角约束和目标尺度,训练或推理时加入一致性损失与后处理校正。落地时还应结合网格重建和人工检查,避免生成结果看着对、结构却不稳。

🗳️ 读者观点微投票 · 您的实战立场是?
几秒生成3D场景,能替代传统建模吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • PhysGen3D – 清华等高校联合推出的单图创建交互式 3D 场景
  • HoloDreamer – AI文本驱动3D场景生成框架
  • Edify 3D – NVIDIA 推出的3D生成模型
  • SpatialGen重磅开源:群核科技发布革命性3D场景生成模型,一键创建时空一致的沉浸式空间
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
DeepSeek-Math-V2重磅发布:开源数学推理模型,IMO/CMO金牌水平,开启AI自我验证新纪元
字节跳动Mamoda2.5重磅发布:25B参数MoE统一多模态模型,视频生成编辑速度提升12-18倍
Gemini 2.5 Flash – 谷歌推出的最新 AI 推理模型
MoCha – Meta 联合滑铁卢大学推出的端到端对话角色视频生成模型
字节跳动开源Lance 3B:仅30亿参数,一个模型同时搞定AI看图、写图、剪视频
TAGGED:3D与空间智能stable diffusion大模型微调
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Step1X-3D – 阶跃星辰联合LightIllusions开源的3D资产生成框架 Step1X-3D – 阶跃星辰联合LightIllusions开源的3D资产生成框架
下一篇 GameFactory – 香港大学和快手联合推出的可泛化游戏场景框架 GameFactory – 香港大学和快手联合推出的可泛化游戏场景框架
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

AI芯片短缺危机!SpaceX Terafab晶圆厂成败难料,或重塑太空AI格局
AIGC 资讯

AI芯片短缺危机!SpaceX Terafab晶圆厂成败难料,或重塑太空AI格局

Prompt 语宙研究院
AI芯片 SpaceX Terafab晶圆厂 半导体供应链 特斯拉
OpenAI 模型黑了 Hugging Face:美国会顺势抛出 AI"终止开关"法案
AIGC 资讯

OpenAI 模型黑了 Hugging Face:美国会顺势抛出 AI”终止开关”法案

Prompt 语宙研究院
AI办公效率 AI智能体 OpenAI 开源大模型
xAI重磅发布Grok V9-Medium:1.5万亿参数专攻编程,Blackwell架构深度优化,剑指AI代码助手新霸主
AI 工具AIGC 资讯最新趋势

xAI重磅发布Grok V9-Medium:1.5万亿参数专攻编程,Blackwell架构深度优化,剑指AI代码助手新霸主

Prompt 语宙研究院
Claude Cursor DeepSeek Grok Grok V9-Medium NVIDIA Blackwell xAI 大模型微调 编程AI
DeepSeek-V4.1-Flash-1017 模型架构与全端升级
AI 工具AIGC 资讯

性能反超 Opus 5 且成本再降!DeepSeek 突发上线 V4.1-Flash-1017:自反馈强化学习攻克“许愿式编程”,全网开放 5 元/千次 AI 搜索引擎 API

Prompt 语宙研究院
AI搜索引擎 DeepSeek 代码智能体 自反馈强化学习 许愿式编程
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.