# VideoVAE+ – 香港科技大学推出的先进跨模态视频变分自编码器

- Link: https://paooo.com/aigc-news/23405/
- Published: 2026-06-09T06:37:43+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 采用时空分离压缩机制，显著降低大幅运动视频的运动伪影并提升重建稳定性。
 * 首次引入文本跨模态注意力，用语义信息指导视频重建，细节保留更强。
 * 在高保真重建与跨模态重建任务中表现突出，实测结论是整体优于最新对比模型。

## VideoVAE+是什么

VideoVAE+（VideoVAE Plus）是香港科技大学团队推出的先进的跨模态视频变分自编码器（
Video VAE），通过引入新的时空分离压缩机制和文本指导，实现了对大幅运动视频的高效压缩
与精准重建，同时保持了良好的时间一致性和运动恢复。VideoVAE+在视频重建质量上全面超越
了最新模型，包括英伟达的Cosmos Tokenizer等。模型支持高保真重建，跨模态重建，在视频
重建任务中树立了新的基准。

阅读目录

 * [VideoVAE+是什么](https://paooo.com/aigc-news/23405/#videovae%e6%98%af%e4%bb%80%e4%b9%88)
 * [VideoVAE+的主要功能](https://paooo.com/aigc-news/23405/#videovae%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [VideoVAE+的技术原理](https://paooo.com/aigc-news/23405/#videovae%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [VideoVAE+的项目地址](https://paooo.com/aigc-news/23405/#videovae%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [VideoVAE+的应用场景](https://paooo.com/aigc-news/23405/#videovae%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![VideoVAE+ – 香港科技大学推出的先进跨模态视频变分自编码器 - 配图](https://paooo.
com/wp-content/uploads/2026/06/VideoVAE-Plus-website-1.avif)

## VideoVAE+的主要功能

 * **高保真重建**：VideoVAE+能实现卓越的图像和视频重建质量，即使在大幅运动的视频
   场景中也能保持高清晰度和细节。
 * **跨模态重建**：模型能够基于文本信息来指导视频的重建过程，提高了视频细节的保留
   能力和时间稳定性。

## VideoVAE+的技术原理

 * **时空分离的压缩机制**：VideoVAE+提出了一种时序感知的空间压缩方法，有效分离空间
   和时间信息处理，避免因时空耦合而导致的运动伪影。
 * **轻量级运动压缩模型**：专门设计了一个模型用于时序压缩，高效捕获视频中的运动动态。
 * **文本信息融合**：利用文本到视频数据集中的文本信息作为指导，提高视频细节的保留
   能力和时间稳定性。
 * **图像和视频的联合训练**：通过在图像和视频数据上的联合训练，增强了模型在多任务
   上的重建性能和适应性。
 * **智能特征分块**：将视频的视觉特征图分割成小块（patch），并将它们作为token进行
   处理，不同层采用多种尺寸（8×8、4×4、2×2、1×1），确保每层特征的细节追踪到位。
 * **跨模态注意力机制**：首次在Video VAE任务上引入文本信息作为语义指导，让视觉token（
   作为Query）与文本嵌入（作为Key和Value）计算跨模态注意力，提升细节重建质量。
 * **强大的文本嵌入器**：采用先进的Flan-T5模型，将文字转化为语义向量，为视频生成
   提供坚实的语义基础。

## VideoVAE+的项目地址

 * **Github仓库**：[https://github.com/VideoVerses/VideoVAEPlus](https://github.com/VideoVerses/VideoVAEPlus)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.17805](https://arxiv.org/pdf/2412.17805)

## VideoVAE+的应用场景

 * **视频压缩**：VideoVAE+通过将视频映射到潜在空间，实现了高效的视频压缩，同时保持
   了视频的高质量。
 * **视频重建**：VideoVAE+在视频重建方面表现出色，能精准重建原始视频信息，为生成
   高质量视频提供基础。
 * **在线教育**：在在线教育领域，VideoVAE+的视频生成能力可以用于创建虚拟教师的教学
   视频，提升学生的学习兴趣和参与度。
 * **影视后期制作**：VideoVAE+的潜在空间插值和注意力机制为特效制作带来了革命性的
   变化。可以通过潜在空间的插值操作，在两个不同的视频之间生成过渡视频，实现平滑的
   视频变换效果。
 * **视频流媒体**：VideoVAE+的高效压缩和高质量重建能力为视频流媒体平台带来了更好
   的观看体验。使用VideoVAE+后，视频加载速度提升，卡顿率降低。

❓ 常见问题解答（FAQ）

VideoVAE+主要解决什么问题？

VideoVAE+主要面向视频压缩与重建，重点解决大幅运动视频在压缩后容易出现细节丢失、时间
不一致和运动伪影的问题。它通过时空分离压缩和文本指导提升重建质量。

VideoVAE+为什么比传统视频VAE更强？

它的核心优势在于把空间与时间信息分开处理，并引入文本语义作为重建指导，还结合图像
和视频联合训练，因此在细节保留、运动恢复和时间稳定性上更有优势。

VideoVAE+适合哪些应用场景？

适合视频压缩、视频重建、在线教育、影视后期制作和视频流媒体等场景。尤其在需要高质量
重建、平滑过渡和更高压缩效率的任务中，实用价值更明显。

🔬 语宙深潜追问 · 进阶实操拆解

大幅运动视频怎么避免抖动？

要把运动信息和外观信息分开建模，压缩时保留时空主干，再用重建阶段补细节。训练中加入
时间一致性约束、光流或跨帧对齐损失，能明显减少闪烁和局部漂移。

文本指导重建适合哪些场景？

适合需要语义可控的重建任务，比如视频修复、风格迁移和内容编辑。它能把“重建得像”升级
为“重建得对”，但前提是文本条件足够准确，否则会引入错误语义。

🗳️ 读者观点微投票 · 您的实战立场是？

视频重建更该优先保真还是保时序？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Video-XL – 智源联合多所高校推出的开源超长视觉理解模型](https://paooo.com/aigc-news/26008/)
 * [Long-VITA – 腾讯优图联合南大、厦大开源的多模态模型](https://paooo.com/aigc-news/21967/)
 * [VACE – 阿里通义推出的视频生成与编辑框架](https://paooo.com/aigc-news/21074/)
 * [AIMv2 – 苹果开源的多模态自回归预训练视觉模型](https://paooo.com/aigc-news/21468/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/23405/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
