腾讯HunyuanWorld-Voyager发布：单张图片生成超长漫游3D世界，开启AIGC新纪元

💡 站外导读：随着虚拟现实、游戏开发和数字孪生需求激增，从2D图像快速生成高质量3D场景成为行业痛点。传统3D建模耗时费力，而现有AIGC工具多停留在2D生成或短片段3D合成，难以实现连贯的沉浸式世界探索。腾讯混元Voyager的发布，直击这一核心需求，首次实现从单张图片到超长漫游3D世界的端到端生成，为内容创作开辟全新路径。

HunyuanWorld-Voyager是什么

HunyuanWorld-Voyager（简称混元Voyager）是腾讯推出的业界首个支持原生3D重建的超长漫游世界模型。是新颖的视频扩散框架，能从单张图片生成用户定义相机路径的3D点云序列，支持沿着自定义相机轨迹进行世界探索的3D一致场景视频生成，可生成对齐的深度和RGB视频，用于高效直接的3D重建。模型包含两个关键组件：世界一致视频扩散和长距离世界探索，通过高效的点剔除和自回归推理实现迭代场景扩展。提出了可扩展的数据引擎，用于生成RGB-D视频训练的可扩展数据。在WorldScore基准测试中，Voyager在多个指标上均取得了优异的成绩，展现了其强大的性能。

HunyuanWorld-Voyager的主要功能

• 从单张图片生成3D点云序列：能根据用户定义的相机路径，从单张图片生成3D一致的点云序列，支持长距离的世界探索。
• 生成3D一致的场景视频：可以沿着用户自定义的相机轨迹生成3D一致的场景视频，为用户提供沉浸式的3D场景漫游体验。
• 支持实时3D重建：生成的RGB和深度视频可直接用于高效的3D重建，无需额外的重建工具，实现从视频到3D模型的快速转换。
• 多种应用场景支持：适用于视频重建、图像到3D生成、视频深度估计等多种3D理解和生成任务，具有广泛的应用前景。
• 强大的性能表现：在斯坦福大学发布的WorldScore基准测试中，HunyuanWorld-Voyager在多个关键指标上均取得了优异的成绩，展现了其在3D场景生成和视频扩散方面的强大能力。

HunyuanWorld-Voyager的技术原理

• 世界一致视频扩散：模型采用统一的架构，联合生成对齐的RGB和深度视频序列，通过条件于现有的世界观察来确保全局一致性。
• 长距离世界探索：利用高效的点剔除技术和自回归推理，结合平滑的视频采样，实现迭代场景扩展，同时保持上下文感知的一致性。
• 可扩展的数据引擎：提出了一个视频重建管道，自动化地进行相机姿态估计和度量深度预测，能够为任意视频生成大规模、多样化的训练数据，无需手动3D注释。
• 自回归推理与世界缓存机制：通过高效的点剔除和自回归推理，结合世界缓存机制，实现迭代场景扩展，维持几何一致性，支持任意相机轨迹。
• 高效的3D重建：生成的RGB和深度视频可直接用于高效的3D重建，无需额外的重建工具，实现从视频到3D模型的快速转换。

HunyuanWorld-Voyager的项目地址

• 项目官网：https://3d-models.hunyuan.tencent.com/world/
• Github仓库：https://github.com/Tencent-Hunyuan/HunyuanWorld-Voyager
• Hugging Face模型库：https://huggingface.co/tencent/HunyuanWorld-Voyager
• 技术报告：https://3d-models.hunyuan.tencent.com/voyager/voyager_en/assets/HYWorld_Voyager.pdf

HunyuanWorld-Voyager的应用场景

• 视频重建：通过生成对齐的RGB和深度视频，实现高效且直接的3D重建，无需额外的重建工具。
• 图像到3D生成：从单张图片生成3D一致的点云序列，支持从2D图像到3D场景的转换，可用于虚拟场景的快速构建。
• 视频深度估计：生成与RGB视频对齐的深度信息，可用于视频分析和3D理解任务。
• 虚拟现实（VR）和增强现实（AR）：生成的3D场景和视频可用于创建沉浸式的VR体验或增强现实应用。
• 游戏开发：生成的3D场景资产可无缝接入主流游戏引擎，为游戏开发提供丰富的创意和内容支持。
• 3D建模和动画：生成的3D点云和视频可作为3D建模和动画制作的输入，提高创作效率。