# VLOGGER – 谷歌推出的图像到合成人物动态视频的模型 - Link: https://paooo.com/aigc-news/28080/ - Published: 2026-07-09T18:41:14+08:00 - Author: 站外新闻 ## VLOGGER是什么 VLOGGER AI是谷歌的研究团队开发的一个多模态扩散模型，专门用于从单一输入图像和音频 样本生成逼真的、连贯的人像动态视频。该模型的主要功能在于使用人工智能模型，将一张 静态图片转换成一个动态的视频角色，同时保持照片中人物的逼真外观。此外，VLOGGER还能够 根据音频来控制人物动作，不仅仅是面部动作和嘴唇同步，还包括头部运动、目光、眨眼以及 上身和手部手势，从而将音频驱动的视频合成推向了一个新的高度。 阅读目录 * [VLOGGER是什么](https://paooo.com/aigc-news/28080/#vlogger%e6%98%af%e4%bb%80%e4%b9%88) * [VLOGGER的官网入口](https://paooo.com/aigc-news/28080/#vlogger%e7%9a%84%e5%ae%98%e7%bd%91%e5%85%a5%e5%8f%a3) * [VLOGGER的功能特性](https://paooo.com/aigc-news/28080/#vlogger%e7%9a%84%e5%8a%9f%e8%83%bd%e7%89%b9%e6%80%a7) * [VLOGGER的工作原理](https://paooo.com/aigc-news/28080/#vlogger%e7%9a%84%e5%b7%a5%e4%bd%9c%e5%8e%9f%e7%90%86) - [第一阶段：音频驱动的运动生成](https://paooo.com/aigc-news/28080/#%e7%ac%ac%e4%b8%80%e9%98%b6%e6%ae%b5%e9%9f%b3%e9%a2%91%e9%a9%b1%e5%8a%a8%e7%9a%84%e8%bf%90%e5%8a%a8%e7%94%9f%e6%88%90) - [第二阶段：时间连贯的视频生成](https://paooo.com/aigc-news/28080/#%e7%ac%ac%e4%ba%8c%e9%98%b6%e6%ae%b5%e6%97%b6%e9%97%b4%e8%bf%9e%e8%b4%af%e7%9a%84%e8%a7%86%e9%a2%91%e7%94%9f%e6%88%90) - [数据集和训练](https://paooo.com/aigc-news/28080/#%e6%95%b0%e6%8d%ae%e9%9b%86%e5%92%8c%e8%ae%ad%e7%bb%83) ![Google VLOGGER AI](https://paooo.com/wp-content/uploads/2026/07/google-vlogger- ai-model-1.avif) ## VLOGGER的官网入口 * 官方项目主页：[https://enriccorona.github.io/vlogger/](https://enriccorona.github.io/vlogger/) * arXiv研究论文：[https://arxiv.org/abs/2403.08764v1](https://arxiv.org/abs/2403.08764v1) ## VLOGGER的功能特性 * **图像和音频驱动的视频生成**： VLOGGER能够根据单张人物图像和相应的音频输入生成 说话人类的视频。用户只需提供一张图片和一段音频，VLOGGER将生成一个视频中的人物， 其面部表情、嘴唇动作和身体语言与音频同步。 * **多样性和真实性**： VLOGGER生成的视频具有高度的多样性，能够展示原始主体的不同 动作和表情，同时保持背景的一致性和视频的真实性。 * **视频编辑**： VLOGGER可以用于编辑现有视频，例如改变视频中人物的表情，使其与原始 视频的未改变像素保持一致。 * **生成移动和说话的人物**： VLOGGER可以从单张输入图像和驱动音频生成说话面部的视频， 即使没有视频中人物的原始视频资料。 * **视频翻译**： VLOGGER能够将一种语言的视频转换为另一种语言的视频，通过编辑唇部 和面部区域以匹配新的音频，实现跨语言的视频内容适配。 ## VLOGGER的工作原理 VLOGGER的工作原理主要基于一个两阶段的流程，结合了音频驱动的运动生成和时间连贯的视频 生成。 ![VLOGGER AI的工作原理](https://paooo.com/wp-content/uploads/2026/07/google-vlogger- pipelines.avif) ### 第一阶段：音频驱动的运动生成 1. **音频处理**：VLOGGER首先接收一段音频输入，这可以是语音或音乐。如果输入是文本， 它也会通过文本到语音（TTS）模型转换为音频波形。 2. **3D运动预测**：接着，系统使用一个基于变换器（Transformer）架构的网络来处理音频 输入。这个网络被训练来预测与音频同步的3D面部表情和身体姿势。网络使用多步注意力层 来捕捉音频的时间特征，并生成一系列的3D姿势参数。 3. **生成控制表示**：网络输出的是一系列预测的面部表情（θe i）和身体姿势的残差（∆θb i）。这些参数随后用于生成控制视频生成过程的2D表示。 ### 第二阶段：时间连贯的视频生成 1. **视频生成模型**：VLOGGER的第二个阶段是一个时间扩散模型，它接收第一阶段生成的3D 运动控制和一张参考图像（即输入的单一人物图像）。 2. **条件化视频生成**：视频生成模型是一个基于扩散的图像到图像翻译模型，它利用预测的 2D控制来生成一系列帧，这些帧按照输入的音频和3D运动参数进行动画处理。 3. **超分辨率**：为了提高视频质量，VLOGGER还包括一个超分辨率扩散模型，它将基础视频 的分辨率从128×128提升到更高的分辨率，如256×256或512×512。 4. **时间外延**：VLOGGER使用时间外延（temporal outpainting）的技术来生成任意长度的 视频。它首先生成一定数量的帧，然后基于前一帧的信息迭代地生成新的帧，从而扩展视频 的长度。 ### 数据集和训练 * VLOGGER在名为MENTOR的大规模数据集（2200个小时和800000个身份）上进行训练，这是 一个包含大量身份和动态手势的大规模数据集。训练过程中，模型学习如何根据3D姿势参数 和输入图像生成连贯的、高质量的视频序列。 **🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [⚡ AIGC 早报生成器](https://paooo.com/mtool/)