---
title: "HoloTime – 北大联合鹏城实验室推出的全景4D场景生成框架"
url: "https://paooo.com/aigc-news/20043/"
author: "Prompt 语宙研究院"
published_at: "2026-06-07T23:14:42+08:00"
updated_at: "2026-06-07T23:14:42+08:00"
categories: "AIGC 资讯"
tags: "3D与空间智能, AI视频生成, HuggingFace, 大模型微调, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# HoloTime – 北大联合鹏城实验室推出的全景4D场景生成框架

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/20043/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-07

## AI 30 秒核心看点 (TL;DR)

- 单张全景图可生成带运动细节的全景视频，再重建为可漫游的4D场景。
- 通过HDF、PCT与两阶段生成，提升全景视频连续性、细节质量和泛化能力。
- 面向VR/AR、虚拟旅游、影视、游戏与建筑展示，强调沉浸式空间智能应用。

## HoloTime是什么

HoloTime 是北京大学深圳研究生院和鹏城实验室推出的全景 4D 场景生成框架，基于视频扩散模型将单张全景图像转化为具有真实动态效果的全景视频，进一步重建为沉浸式的 4D 场景。HoloTime 引入 360World 数据集，包含大量固定摄像头拍摄的全景视频，用在训练 Panoramic Animator，生成高质量的全景视频。HoloTime 推出 Panoramic Space-Time Reconstruction 技术，基于时空深度估计将全景视频转换为 4D 点云，优化为一致的 4D 高斯点云表示，实现沉浸式的虚拟现实体验。

## HoloTime的主要功能

- **从单张全景图像生成全景视频**：将静态的全景图像转化为具有动态效果的全景视频，视频中包含丰富的运动信息，如物体运动、场景变化等。

- **全景视频到 4D 场景的重建**：支持将生成的全景视频转换为 4D 点云，进一步优化为一致的 4D 场景表示，支持虚拟漫游和多视角观察。

- **沉浸式体验支持**：生成的 4D 场景能够为 VR（虚拟现实）和 AR（增强现实）应用提供沉浸式的交互体验，用户能在场景中自由移动和探索。

## HoloTime的技术原理

- **Panoramic Animator（全景动画生成器）**：

**两阶段生成策略**：首先生成低分辨率的粗视频，提供全局运动指导；基于高分辨率的细化模型增强局部细节。

- **混合数据微调（Hybrid Data Fine-tuning, HDF）**：结合全景视频和类似景观的普通视频数据进行训练，弥补数据分布的差异，提升模型的泛化能力。

- **全景循环技术（Panoramic Circular Techniques, PCT）**：在视频的左右两端创建重复区域进行混合处理，确保全景视频的水平方向连续性，避免拼接处的视觉断裂。

- **Panoramic Space-Time Reconstruction（全景时空重建）**：用全景光流估计模型和窄视场深度估计模型，对全景视频的每一帧进行深度估计，确保深度信息在时间和空间上的连续性。将全景视频及其深度图转换为带有时间属性的 4D 点云，作为 4D 场景的初始表示。基于优化 4D 点云的表示，实现空间和时间上一致的 4D 场景重建，支持高效渲染和动态视图合成。

- **360World 数据集**：为训练 Panoramic Animator 提供大规模的固定摄像头全景视频数据，数据集包含丰富的场景和动态信息，支持模型学习全景视频的生成规律。

## HoloTime的项目地址

- **项目官网**：[https://zhouhyocean.github.io/holotime/](https://zhouhyocean.github.io/holotime/?utm_source=ai-bot.cn)

- **GitHub仓库**：[https://github.com/PKU-YuanGroup/HoloTime](https://github.com/PKU-YuanGroup/HoloTime)

- **HuggingFace模型库**：[https://huggingface.co/Marblueocean/HoloTime](https://huggingface.co/Marblueocean/HoloTime)

- **arXiv技术论文**：[https://arxiv.org/pdf/2504.21650](https://arxiv.org/pdf/2504.21650)

## HoloTime的应用场景

- **虚拟现实（VR）和增强现实（AR）**：提供沉浸式的 4D 场景，让用户在虚拟环境中自由漫游，增强体验感。

- **虚拟旅游和在线展览**：生成全景 4D 场景，让用户远程游览景点或展览，仿佛身临其境。

- **影视制作**：快速生成高质量的全景背景和特效，降低拍摄成本，提升视觉效果。

- **游戏开发**：创建动态的游戏场景，增强玩家的沉浸感和视觉体验。

- **建筑设计和城市规划**：生成全景 4D 场景，帮助设计师直观展示设计方案，提前评估效果。

## 常见问题解答 (FAQ)

### HoloTime能把静态全景图变成什么？
它可以先将单张全景图生成具有真实动态效果的全景视频，再通过时空重建把视频转成4D点云并优化为一致的4D场景表示，支持沉浸式浏览与多视角观察。

### HoloTime的核心技术亮点是什么？
核心包括Panoramic Animator和Panoramic Space-Time Reconstruction。前者用两阶段生成、HDF和PCT提升全景视频质量与连续性；后者把全景视频重建为4D点云并优化为一致场景。

### HoloTime适合哪些应用场景？
它适合VR/AR沉浸体验、虚拟旅游、在线展览、影视背景制作、游戏场景生成，以及建筑设计和城市规划中的方案展示与效果评估。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
