---
title: "MOVA：中国首个端到端开源音视频生成大模型，320亿参数实现电影级口型同步"
url: "https://paooo.com/aigc-news/11544/"
author: "Prompt 语宙研究院"
published_at: "2026-06-11T21:12:22+08:00"
updated_at: "2026-06-07T20:06:43+08:00"
categories: "AI 工具, AIGC 资讯"
tags: "AIGC, MOVA, 开源, 端到端生成模型, 音视频大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# MOVA：中国首个端到端开源音视频生成大模型，320亿参数实现电影级口型同步

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/11544/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-11

## AI 30 秒核心看点 (TL;DR)

- 中国首个开源端到端音视频生成模型，320亿参数实现视听同步输出。
- 异构双塔+双向桥接+Aligned ROPE，重点解决音画不同步与口型不准。
- 支持720p、8秒生成，适合影视预览、短视频、游戏过场等场景。

> 
                **💡 站外导读：**在生成式AI浪潮中，音视频内容生成正成为核心战场。然而，主流模型生成的视频多是“哑剧”，音画同步难、口型对不上、缺乏环境音效等问题，严重制约了AIGC在影视、广告等专业领域的落地。行业急需一种能原生融合视觉与听觉、实现端到端一体化生成的解决方案。

            

             
                        

## MOVA是什么

MOVA（MOSS Video and Audio）是上海创智学院OpenMOSS团队与模思智能（MOSI）联合推出的，中国首个高性能开源音视频端到端生成模型。模型突破传统视频”静音”局限，采用异构双塔架构与双向桥接模块，实现原生跨模态交互。模型拥有320亿参数（MoE架构，推理激活180亿），可同步生成长达8秒、720p分辨率的视频与配套音频，在电影级口型同步、环境音效契合度上表现卓越。

## MOVA的主要功能

- 
**端到端音视频生成**：模型能一次性同步输出视频与配套音频，告别”哑巴视频”。

- 
**双模式驱动生成**：支持图像+文本或纯文本输入，灵活控制生成内容。

- 
**电影级口型同步**：模型能精准匹配人物说话时的嘴型与语音，支持中英文多人物对话。

- 
**智能环境音效**：根据画面场景自动合成匹配的背景音乐、动作声与环境音。

- 
**视频文字渲染**：模型可在画面指定位置生成清晰可读的动态文字内容。

- 
**高分辨率输出**：模型最高支持720p分辨率、8秒时长的视听片段生成。

## MOVA的技术原理

- **异构双塔架构**：模型采用14B视频扩散模型与1.3B音频扩散模型分别处理视觉与听觉信息，通过双向桥接模块实现两层隐藏状态的深度交叉注意力融合，让画面生成全程感知声音节奏。

- **跨模态时间对齐**：视频与音频的采样密度差异巨大，Aligned ROPE机制通过精确的缩放比例映射，将两种模态的Token统一到同一物理时间坐标系，从根本上消除音画不同步问题。

- **渐进式训练策略**：模型分三阶段由粗到细训练，先用360p低分辨率让随机初始化的桥接模块快速学会音视频对齐，逐步提升对齐稳定性，最后扩展到720p高分辨率进行画质精修。

- **双重CFG推理**：针对音视频联合生成存在文本指令和模态桥接两个控制源的特点，支持独立调节两者的引导权重，在一般场景保画面质量，在对话场景强口型精度。

## MOVA的项目地址

- **项目官网**：https://mosi.cn/models/mova

- **GitHub仓库**：https://github.com/OpenMOSS/MOVA

- **HuggingFace模型库**：https://huggingface.co/collections/OpenMOSS-Team/mova

## MOVA的应用场景

- **影视制作**：快速生成分镜预览与配音小样，降低前期制作成本，加速创意验证。

- **短视频创作**：为创作者提供带音效的高质量剧情素材，提升产出效率，丰富内容形式。

- **游戏开发**：自动生成过场动画与角色对话，实现音画同步的沉浸体验，缩短开发周期。

- **教育培训**：制作多语言口型精准的教学视频，支持全球化内容适配，提升学习效果。

- **电商营销**：产出带解说与背景音乐的产品展示视频，加速营销内容迭代，增强转化能力。

                    
            
                

#### 📝 站长洞察 (Editor's Insight)

                MOVA的发布，标志着AIGC从“图文生成”正式迈入“视听一体化生成”的新阶段。其真正的突破在于“异构双塔+双向桥接”的架构设计，它从底层解决了音画同步这一行业顽疾，而非简单拼接。这不仅是技术的进步，更是范式的转变——它意味着AI内容生产将越来越接近人类创作的“通感”过程。对于产业而言，这种端到端能力将大幅降低专业视听内容的生产门槛，从影视预览到游戏过场，效率提升将是指数级的。开源策略更是关键，它将加速生态构建，可能催生出我们今天还无法想象的新应用形态。

## 常见问题解答 (FAQ)

### MOVA是什么类型的AI模型？
MOVA（MOSS Video and Audio）是上海创智学院OpenMOSS团队与模思智能联合推出的开源端到端音视频生成模型，可同步生成视频与配套音频，重点解决传统视频生成“只有画面没有声音”的问题。

### MOVA最突出的技术优势是什么？
它的核心优势是异构双塔架构与双向桥接模块，配合Aligned ROPE实现音画时间对齐，因此在电影级口型同步、环境音效匹配和多人物对话场景中表现更稳定。

### MOVA适合哪些实际应用场景？
MOVA适合影视分镜预览、短视频剧情素材、游戏过场动画、教育多语言教学视频和电商产品展示视频等场景，能降低前期制作成本并提升内容生产效率。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
