# VideoPoet – 谷歌推出的AI视频生成模型 - Link: https://paooo.com/aigc-news/28324/ - Published: 2026-07-09T13:31:34+08:00 - Author: 站外新闻 ## VideoPoet是什么 VideoPoet是由谷歌的研究团队开发的一种基于[大模型](https://paooo.com/ai-study/)的 AI视频生成方案，支持从文本、图像或视频输入中合成高质量的视频内容，并生成匹配的音 频。VideoPoet的核心优势在于其多模态大模型的设计，可以处理和转换不同类型的输入信号， 无需特定数据集或扩散模型，就能够实现多种风格和动作的视频输出，支持生成时长10秒的 视频。 阅读目录 * [VideoPoet是什么](https://paooo.com/aigc-news/28324/#videopoet%e6%98%af%e4%bb%80%e4%b9%88) * [VideoPoet的官网入口](https://paooo.com/aigc-news/28324/#videopoet%e7%9a%84%e5%ae%98%e7%bd%91%e5%85%a5%e5%8f%a3) * [VideoPoet的主要功能](https://paooo.com/aigc-news/28324/#videopoet%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd) * [VideoPoet的技术原理](https://paooo.com/aigc-news/28324/#videopoet%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86) ![Google VideoPoet](https://paooo.com/wp-content/uploads/2026/07/google-videopoet- model-1.avif) ## VideoPoet的官网入口 * 官方项目主页：[https://sites.research.google/videopoet/](https://sites.research.google/videopoet/) * Arxiv研究论文：[https://arxiv.org/pdf/2312.14125.pdf](https://arxiv.org/pdf/2312.14125.pdf) ## VideoPoet的主要功能 * **文本到视频转换**：VideoPoet能够根据文本描述生成相应的视频内容。用户可以输入 一段描述，然后模型便会生成与描述相符的视频片段。 * **图像到视频动画**：除了文本，VideoPoet还可以根据静态图像生成动画。例如，用户 可以上传一张图片，然后模型会将其转换成动态的视频。 * **视频风格化**：VideoPoet能够改变现有视频的风格，如将视频转换成油画风格、卡通 风格或其他艺术形式。 * **视频编辑和扩展**：模型支持对视频进行编辑，如改变视频中物体的动作或添加新的元素。 此外，它还能够扩展视频内容，生成更长的视频片段。 * **视频到音频转换**：VideoPoet 还可以从视频中生成音频，意味着它可以为无声视频配 上音效或音乐。 * **多模态学习**：VideoPoet 支持跨模态学习，能够在视频、图像、音频和文本之间进行 学习和转换，实现更复杂的创作任务。 ![VideoPoet的主要功能](https://paooo.com/wp-content/uploads/2026/07/google-videopoet- features.avif) ## VideoPoet的技术原理 * **多模态输入处理**：VideoPoet能够接收和处理不同类型的输入信号，如图像、视频帧、 文本和音频波形。这些输入通过特定的分词器（tokenizers）转换为离散的标记（tokens）， 然后被模型处理。 * **解码器架构**：VideoPoet采用了解码器（decoder-only）的Transformer架构。该架构 通常用于自然语言处理（NLP）任务，但在VideoPoet中被扩展到视频生成任务。解码器能够 根据输入的标记序列预测输出序列，这在视频生成中意味着能够生成连续的视频帧。 * **预训练与任务适应**：VideoPoet的训练分为两个阶段。在预训练阶段，模型通过多种 多模态生成目标在自回归变换器框架内进行训练。这为模型提供了一个强大的基础，可以 适应各种视频生成任务。在任务适应阶段，预训练的模型可以进一步微调，以提高特定任务 的生成质量或执行新任务。 * **多模态词汇表**：为了处理不同类型的输入，VideoPoet构建了一个统一的多模态词汇 表。这个词汇表包含了图像、视频和音频的标记，使得模型能够理解和生成跨模态内容。 * **自回归生成**：VideoPoet在生成视频时采用自回归方法，这意味着模型在生成每一帧 时都会考虑到之前所有帧的信息。这种方法有助于保持视频内容的连贯性和一致性。 * **超分辨率模块**：为了提高视频输出的分辨率和质量，VideoPoet引入了一个专门的空间 超分辨率（SR）变换器模块。这个模块在语言模型输出的基础上工作，通过局部窗口注意力 机制来提高计算效率，并生成更高分辨率的视频。 * **零样本视频生成**：VideoPoet展示了在没有见过特定输入数据分布的情况下处理新文本、 图像或视频输入的能力，这被称为零样本视频生成。这表明模型具有很强的泛化能力。 * **任务链式处理**：由于VideoPoet在预训练阶段学习了多种任务，它能够将这些任务链式 组合起来，执行新的、在训练中未明确教授的任务，如视频编辑和风格化。 **🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [⚡ AIGC 早报生成器](https://paooo.com/mtool/)