# MOVA：中国首个端到端开源音视频生成大模型，320亿参数实现电影级口型同步

- Link: https://paooo.com/aigc-news/11544/
- Published: 2026-06-11T21:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 中国首个开源端到端音视频生成模型，320亿参数实现视听同步输出。
 * 异构双塔+双向桥接+Aligned ROPE，重点解决音画不同步与口型不准。
 * 支持720p、8秒生成，适合影视预览、短视频、游戏过场等场景。

> **💡 站外导读：**在生成式AI浪潮中，音视频内容生成正成为核心战场。然而，主流模型
> 生成的视频多是“哑剧”，音画同步难、口型对不上、缺乏环境音效等问题，严重制约了AIGC
> 在影视、广告等专业领域的落地。行业急需一种能原生融合视觉与听觉、实现端到端一体化
> 生成的解决方案。

## MOVA是什么

MOVA（MOSS Video and Audio）是上海创智学院OpenMOSS团队与模思智能（MOSI）联合推出
的，中国首个高性能开源音视频端到端生成模型。模型突破传统视频”静音”局限，采用异构
双塔架构与双向桥接模块，实现原生跨模态交互。模型拥有320亿参数（MoE架构，推理激活
180亿），可同步生成长达8秒、720p分辨率的视频与配套音频，在电影级口型同步、环境音效
契合度上表现卓越。

阅读目录

 * [MOVA是什么](https://paooo.com/aigc-news/11544/#mova%e6%98%af%e4%bb%80%e4%b9%88)
 * [MOVA的主要功能](https://paooo.com/aigc-news/11544/#mova%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MOVA的技术原理](https://paooo.com/aigc-news/11544/#mova%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [MOVA的项目地址](https://paooo.com/aigc-news/11544/#mova%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MOVA的应用场景](https://paooo.com/aigc-news/11544/#mova%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/11544/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![MOVA](https://paooo.com/wp-content/uploads/2026/05/MOVA-website-1.avif)

## MOVA的主要功能

 * **端到端音视频生成**：模型能一次性同步输出视频与配套音频，告别”哑巴视频”。
 * **双模式驱动生成**：支持图像+文本或纯文本输入，灵活控制生成内容。
 * **电影级口型同步**：模型能精准匹配人物说话时的嘴型与语音，支持中英文多人物对话。
 * **智能环境音效**：根据画面场景自动合成匹配的背景音乐、动作声与环境音。
 * **视频文字渲染**：模型可在画面指定位置生成清晰可读的动态文字内容。
 * **高分辨率输出**：模型最高支持720p分辨率、8秒时长的视听片段生成。

## MOVA的技术原理

 * **异构双塔架构**：模型采用14B视频扩散模型与1.3B音频扩散模型分别处理视觉与听觉
   信息，通过双向桥接模块实现两层隐藏状态的深度交叉注意力融合，让画面生成全程感知
   声音节奏。
 * **跨模态时间对齐**：视频与音频的采样密度差异巨大，Aligned ROPE机制通过精确的缩
   放比例映射，将两种模态的Token统一到同一物理时间坐标系，从根本上消除音画不同步
   问题。
 * **渐进式训练策略**：模型分三阶段由粗到细训练，先用360p低分辨率让随机初始化的桥接
   模块快速学会音视频对齐，逐步提升对齐稳定性，最后扩展到720p高分辨率进行画质精修。
 * **双重CFG推理**：针对音视频联合生成存在文本指令和模态桥接两个控制源的特点，支持
   独立调节两者的引导权重，在一般场景保画面质量，在对话场景强口型精度。

## MOVA的项目地址

 * **项目官网**：https://mosi.cn/models/mova
 * **GitHub仓库**：https://github.com/OpenMOSS/MOVA
 * **HuggingFace模型库**：https://huggingface.co/collections/OpenMOSS-Team/mova

## MOVA的应用场景

 * **影视制作**：快速生成分镜预览与配音小样，降低前期制作成本，加速创意验证。
 * **短视频创作**：为创作者提供带音效的高质量剧情素材，提升产出效率，丰富内容形式。
 * **游戏开发**：自动生成过场动画与角色对话，实现音画同步的沉浸体验，缩短开发周期。
 * **教育培训**：制作多语言口型精准的教学视频，支持全球化内容适配，提升学习效果。
 * **电商营销**：产出带解说与背景音乐的产品展示视频，加速营销内容迭代，增强转化能力。

#### 📝 站长洞察 (Editor’s Insight)

MOVA的发布，标志着[AIGC](https://paooo.com/aigc-news/)从“图文生成”正式迈入“视听一体化
生成”的新阶段。其真正的突破在于“异构双塔+双向桥接”的架构设计，它从底层解决了音画
同步这一行业顽疾，而非简单拼接。这不仅是技术的进步，更是范式的转变——它意味着AI内容
生产将越来越接近人类创作的“通感”过程。对于产业而言，这种端到端能力将大幅降低专业
视听内容的生产门槛，从影视预览到游戏过场，效率提升将是指数级的。开源策略更是关键，
它将加速生态构建，可能催生出我们今天还无法想象的新应用形态。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

MOVA是什么类型的AI模型？

MOVA（MOSS Video and Audio）是上海创智学院OpenMOSS团队与模思智能联合推出的开源端
到端音视频生成模型，可同步生成视频与配套音频，重点解决传统视频生成“只有画面没有声音”
的问题。

MOVA最突出的技术优势是什么？

它的核心优势是异构双塔架构与双向桥接模块，配合Aligned ROPE实现音画时间对齐，因此
在电影级口型同步、环境音效匹配和多人物对话场景中表现更稳定。

MOVA适合哪些实际应用场景？

MOVA适合影视分镜预览、短视频剧情素材、游戏过场动画、教育多语言教学视频和电商产品
展示视频等场景，能降低前期制作成本并提升内容生产效率。

🔬 语宙深潜追问 · 进阶实操拆解

音视频一体生成难点在哪？

难点在于时间对齐、语义一致和多模态细节同步。口型、表情、环境音和节奏必须共享同一
时间轴，否则即使单帧质量高，也会显得“假”和割裂。

开源音视频模型最适合什么场景？

最适合短视频广告、虚拟人、原型验证和低成本内容生产。若用于长片或高一致性角色叙事，
仍需要更强的镜头级控制、后期修正和人工审核。

🗳️ 读者观点微投票 · 您的实战立场是？

端到端音视频生成，先解决口型还是音效？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

 * [daVinci-MagiHuman: 150亿参数音视频生成模型，H100上2秒出片，架构与性能全面超越Ovi、LTX](https://paooo.com/ai-tool/11104/)
 * [阿里通义开源 Wan2.2-S2V：一张图+一段音频，分钟级生成电影级数字人视频的多模态大模型](https://paooo.com/aigc-news/13987/)
 * [Seaweed-7B – 字节推出的视频生成模型](https://paooo.com/aigc-news/20348/)
 * [CogVideoX v1.5 – 智谱最新开源的AI视频生成模型](https://paooo.com/aigc-news/25751/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/11544/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
