---
title: "Lumina-Video – 上海 AI Lab 和港中文推出的视频生成框架"
url: "https://paooo.com/aigc-news/22265/"
author: "Prompt 语宙研究院"
published_at: "2026-06-08T15:53:21+08:00"
updated_at: "2026-06-08T15:53:21+08:00"
categories: "AIGC 资讯"
tags: "AI视频生成, AI音频与语音, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# Lumina-Video – 上海 AI Lab 和港中文推出的视频生成框架

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/22265/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-08

## AI 30 秒核心看点 (TL;DR)

- 基于多尺度 Next-DiT，Lumina-Video 用不同 patch 大小提升视频生成效率与灵活性。
- 引入运动分数条件输入，可直接控制生成视频从静态到高动态的变化幅度。
- 扩展 Lumina-V2A 实现视频与音频同步，兼顾画面质量、声音真实感与应用落地。

## Lumina-Video是什么

Lumina-Video是上海 AI Lab 和香港中文大学推出的[视频生成](https://ai-bot.cn/ai-video-generation-tools/)框架，基于Next-DiT架构，针对视频生成中的时空复杂性进行优化。基于多尺度Next-DiT架构，用不同大小的patchify层提升效率和灵活性，基于运动分数作为条件输入，直接控制生成视频的动态程度。Lumina-Video用渐进式训练、图像-视频联合训练和多源训练策略，进一步提高训练效率和生成质量。Lumina-Video扩展了Lumina-V2A模型，为生成的视频添加同步声音，让视频更具现实感。

## Lumina-Video的主要功能

- **高质量视频生成**：生成具有高分辨率、丰富细节和出色时空连贯性的视频内容。

- **动态程度控制**：基于运动分数作为条件输入，用户能灵活调整生成视频的动态程度，从静态到高度动态。

- **多尺度生成**：支持不同分辨率和帧率的视频生成，适应多种应用场景。

- **视频到音频同步**：基于Lumina-V2A模型，为生成的视频添加与视觉内容同步的声音，增强视频的现实感。

- **高效训练与推理**：用渐进式训练和多源训练策略，提高训练效率和模型性能，在推理阶段提供灵活的多阶段生成策略，平衡计算成本与生成质量。

## Lumina-Video的技术原理

- **多尺度Next-DiT架构**：引入多个不同大小的patchify和unpatchify层，支持模型在不同计算预算下学习视频结构。通过动态调整patch大小，模型在推理阶段根据资源需求灵活调整计算成本，保持生成质量。

- **运动控制机制**：基于计算光流的运动分数，将其作为条件输入到扩散模型中，直接控制生成视频的动态程度。调整正负样本的运动条件差异，实现对视频动态程度的精细控制。

- **渐进式训练**：基于多阶段训练策略，逐步提高视频的分辨率和帧率，提高训练效率。结合图像-视频联合训练，利用高质量的图像数据提升模型对视觉概念的理解和帧级质量。

- **多源训练**：用自然和合成数据源进行训练，充分利用多样化数据，提升模型的泛化能力和生成质量。

- **视频到音频同步（Lumina-V2A）**：基于Next-DiT和流匹配技术，将视频和文本特征与音频潜表示融合，生成与视觉内容同步的声音。用预训练的音频VAE和HiFi-GAN vocoder进行音频编码和解码，确保生成音频的质量和同步性。

## Lumina-Video的项目地址

- **GitHub仓库**：[https://github.com/Alpha-VLLM/Lumina-Video](https://github.com/Alpha-VLLM/Lumina-Video)

- **arXiv技术论文**：[https://arxiv.org/pdf/2502.06782](https://arxiv.org/pdf/2502.06782)

## Lumina-Video的应用场景

- **内容创作与媒体制作**：为电影、电视剧、广告、短视频等媒体内容创作提供高效生成工具，快速生成高质量视频素材，降低创作成本，提高内容生产效率。

- **虚拟现实与增强现实**：生成逼真的虚拟场景和动态内容，增强用户体验，为虚拟现实和增强现实应用提供丰富的视觉和听觉素材。

- **教育与培训**：创建教育视频、模拟训练场景等，帮助学生和受训者更好地理解和掌握知识，提升学习效果和培训质量。

- **游戏开发**：用在生成游戏中的动画、过场视频、虚拟角色动作等，提升游戏的视觉效果和沉浸感，缩短游戏开发周期。

- **智能视频编辑**：作为智能视频编辑工具的一部分，辅助用户快速生成视频片段、添加特效或生成视频的音频，提升视频编辑的效率和创意性。

## 常见问题解答 (FAQ)

### Lumina-Video 主要解决什么问题？
它主要针对视频生成中的时空复杂性，提升画面连贯性、动态可控性和训练效率。通过多尺度 Next-DiT、运动分数控制与渐进式训练，兼顾质量与计算成本。

### Lumina-Video 可以控制视频动态程度吗？
可以。它把基于光流计算的运动分数作为条件输入，用户可据此调节生成视频的动态强弱，从较静态到高动态都能更灵活地控制。

### Lumina-Video 支持视频配音同步吗？
支持。文章提到它扩展了 Lumina-V2A，结合 Next-DiT 和流匹配技术生成与视觉内容同步的声音，并使用音频 VAE 与 HiFi-GAN vocoder 提升音频质量。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
