Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: GenXD – 新加坡国立和微软共同推出的通用3D和4D联合生成框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
GenXD – 新加坡国立和微软共同推出的通用3D和4D联合生成框架
Prompt 语宙 > AIGC 资讯 > GenXD – 新加坡国立和微软共同推出的通用3D和4D联合生成框架
AIGC 资讯

GenXD – 新加坡国立和微软共同推出的通用3D和4D联合生成框架

Prompt 语宙研究院
最近更新: 2026年7月15日 下午7:48
3D与空间智能 AI视频生成
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • GenXD把3D与4D生成统一到单一框架中,支持从任意数量条件图像生成场景。
  • 核心亮点是解耦相机运动与物体运动,并用掩码潜在条件适配多视角输入。
  • 生成结果还能用于优化3D表示,如3D高斯点云和Zip-NeRF,提升重建质量。

GenXD是什么

GenXD是新加坡国立大学和微软公司共同推出的3D-4D联合生成框架,能从任意数量的条件图像中生成高质量的3D和4D场景。框架用一个数据整理流程从视频中提取相机姿态和物体运动强度,基于这些信息及大规模4D数据集CamVid-30K训练模型。GenXD基于多视角时序模块解耦相机和物体的运动,用掩码潜在条件支持多种视角的条件生成,实现在单一模型中处理多种3D和4D生成任务。

阅读目录
  • GenXD是什么
  • GenXD的主要功能
  • GenXD的技术原理
  • GenXD的项目地址
  • GenXD的应用场景

GenXD

GenXD的主要功能

  • 3D和4D场景生成:GenXD能从单视图或多视图中生成高质量的3D和4D场景,包括动态和静态内容。
  • 相机姿态估计:基于结构从运动(SfM)技术,GenXD估计视频中的相机姿态,为生成与相机轨迹一致的视频提供基础。
  • 物体运动估计:基于深度估计和关键点跟踪,GenXD识别和模拟视频中物体的运动。
  • 多视角时序模块:框架内部的模块处理多视角和时间信息,解耦相机运动和物体运动,生成更加真实的动态场景。
  • 掩码潜在条件:GenXD支持用掩码潜在条件进行条件生成,支持模型在不改变网络结构的情况下接受任意数量的输入视图。

GenXD的技术原理

  • 数据整理流程:GenXD基于一个数据整理流程从视频中提取相机姿态和物体运动信息,为后续的模型训练提供必要的数据。
  • 多视角时序模块:GenXD内部的多视角时序模块能够处理多视角和时间信息,用α融合策略在3D和4D数据中进行无缝学习。
  • 掩码潜在条件扩散模型:GenXD用掩码潜在条件扩散模型(LDM)生成不同相机视角和时间步长的图像,支持单视图和多视图生成。
  • 解耦相机和物体运动:基于多视角时序模块,GenXD分离相机运动和物体运动,对生成动态场景至关重要。
  • 3D和4D数据融合:GenXD在训练过程中结合3D和4D数据,让模型同时学习空间和时间信息,提高生成质量。
  • 3D表示优化:GenXD生成的图像直接用于优化3D表示,如3D高斯点云(3D-GS)和Zip-NeRF,实现高质量的3D场景重建。

GenXD的项目地址

  • 项目官网:gen-x-d.github.io
  • GitHub仓库:https://github.com/HeliosZhao/GenXD
  • arXiv技术论文:https://arxiv.org/pdf/2411.02319

GenXD的应用场景

  • 视频游戏开发:GenXD用于生成游戏中的3D和4D环境,提供更加真实和动态的游戏世界。
  • 电影和视觉效果:在电影制作中,GenXD创建复杂的3D场景和特效,减少实际拍摄和后期制作的成本。
  • 虚拟现实(VR)和增强现实(AR):GenXD生成沉浸式的3D和4D内容,提升VR和AR应用的用户体验。
  • 建筑和城市规划:基于GenXD生成的3D模型,建筑师和城市规划者更直观地展示设计概念和规划方案。
  • 教育和培训:GenXD创建模拟环境,用在教育和专业培训,如模拟手术、历史重现等。
❓ 常见问题解答(FAQ)
GenXD适合做什么类型的3D生成?

GenXD适合从单视图或多视图生成高质量3D与4D场景,既能处理静态内容,也能处理带时间变化的动态场景,适用于需要统一建模空间与时间信息的任务。

GenXD为什么能同时支持3D和4D生成?

它通过多视角时序模块解耦相机运动和物体运动,并结合3D与4D数据训练,让模型同时学习空间结构和时间变化,因此能在单一框架内完成两类生成任务。

GenXD生成结果能用于后续重建吗?

可以。文中提到,GenXD生成的图像可直接用于优化3D表示,例如3D高斯点云(3D-GS)和Zip-NeRF,从而帮助获得更高质量的3D场景重建。

🔬 语宙深潜追问 · 进阶实操拆解
3D与4D联合生成的关键难点是什么?

难点在于同时保持空间几何一致性和时间动态连续性。通常要把相机姿态、物体运动和场景静态部分解耦,再用条件掩码控制生成范围,避免静态结构被动态信息污染。

这种框架怎么用于重建优化?

可把生成结果当作先验,补足稀疏视角下的几何空洞和动态缺失。实际应用时建议先做粗重建,再用生成模型做细化和补全,效果通常比从零生成更稳定。

🗳️ 读者观点微投票 · 您的实战立场是?
3D和4D联合生成,先统一建模还是分开做?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🎬 所属权威专题:AI 视频生成与影视工作流 →
  • DimensionX – 港科大、清华和生数科技共同推出的单图像生成复杂3D、4D场景框架
  • GEN3C – NVIDIA 联合多伦多大学等推出的生成式视频模型
  • Hi3DGen – 港中文、字节、清华联合推出的3D几何生成框架
  • SpatialGen重磅开源:群核科技发布革命性3D场景生成模型,一键创建时空一致的沉浸式空间
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Kimi WebBridge深度解析:月之暗面如何用浏览器插件让AI Agent真正接管网页操作
StoryWeaver – 厦大和网易伏羲联合推出的统一故事可视化 AI 模型
ReplaceAnything – 阿里推出的AI替换图片中物体的开源框架
Molmo 2 – Ai2开源的AI视频分析模型
ProtGPS – 麻省理工学院等机构推出的蛋白质语言模型
TAGGED:3D与空间智能AI视频生成
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Qwen-Audio-3.0-Realtime – 阿里推出的实时语音交互模型 Qwen-Audio-3.0-Realtime – 阿里推出的实时语音交互模型
下一篇 TableGPT2 – 浙大推出整合与处理表格数据的多模态大模型 TableGPT2 – 浙大推出整合与处理表格数据的多模态大模型
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

ImageRAG – 基于检索增强生成的图像生成技术
AIGC 资讯

ImageRAG – 基于检索增强生成的图像生成技术

Prompt 语宙研究院
AI绘画提示词 RAG检索增强 stable diffusion 开源大模型
KittenTTS:仅25MB的开源TTS模型,CPU实时推理,离线语音时代来临
AI 工具AIGC 资讯

KittenTTS:仅25MB的开源TTS模型,CPU实时推理,离线语音时代来临

Prompt 语宙研究院
AI工具 开源模型 文本转语音 语音合成 边缘计算
Cloudflare开源AI原生CMS EmDash:终结WordPress时代,用AI自动管理网站内容
AI 工具AIGC 资讯

Cloudflare开源AI原生CMS EmDash:终结WordPress时代,用AI自动管理网站内容

Prompt 语宙研究院
AI原生CMS Cloudflare EmDash MCP协议 Serverless
AIEditor – 面向AI的下一代富文本编辑器
AIGC 资讯

AIEditor – 面向AI的下一代富文本编辑器

Prompt 语宙研究院
AI办公效率 AI编程 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.