# Goku – 港大和字节联合推出的最新视频生成模型

- Link: https://paooo.com/aigc-news/22107/
- Published: 2026-06-08T22:59:51+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 港大×字节联合发布Goku，采用Rectified Flow Transformer与3D联合VAE，统一处理图像
   和视频生成。
 * Goku+主打广告视频创作，可生成20秒以上内容，支持产品图转视频与虚拟数字人互动。
 * 项目强调大规模数据与高效训练，约3600万视频、1.6亿图像支撑高质量输出与稳定训练。

## Goku是什么

Goku是香港大学和字节跳动联合发布的最新[视频生成](https://ai-bot.cn/ai-video-generation-tools/)
模型，专为图像和视频的联合生成设计。基于先进的rectified flow Transformer框架，支持
[文生视频](https://ai-bot.cn/ai-text-to-video-tools/)、图生视频及文生图等多种模式。
Goku的核心优势包括高质量的视频生成能力、极低的广告视频制作成本（比传统方法低100倍）。
Goku基于大规模高质量的数据集和高效的训练设施。研究人员构建了包含约3600万视频和1.6
亿图像的数据集，采用多模态大语言模型生成语境一致的框架。Goku采用了先进的并行策略
和容错机制，确保训练过程的高效性和稳定性。

阅读目录

 * [Goku是什么](https://paooo.com/aigc-news/22107/#goku%e6%98%af%e4%bb%80%e4%b9%88)
 * [Goku的主要功能](https://paooo.com/aigc-news/22107/#goku%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Goku的技术原理](https://paooo.com/aigc-news/22107/#goku%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Goku的项目地址](https://paooo.com/aigc-news/22107/#goku%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Goku的应用场景](https://paooo.com/aigc-news/22107/#goku%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

Goku+是基于Goku模型推出的扩展版本，专注于广告视频创作，能快速生成高质量的广告视频，
支持20秒以上的视频生成，具备稳定的手部动作和丰富的面部及身体表情。Goku+可将产品图片
转化为吸引人的视频，支持虚拟数字人与产品互动，增强广告吸引力。适用于电商、品牌宣传、
短视频广告和产品展示等多种场景，能显著降低广告制作成本，提升创作效率。

![Goku](https://paooo.com/wp-content/uploads/2026/06/Goku-website-1.avif)

## Goku的主要功能

 * **文本到图像（Text-to-Image）：**根据文本描述生成高质量图像，能生成细节丰富且
   与文本描述高度一致的图像。
 * **文本到视频（Text-to-Video）**：根据文本描述生成连贯的视频，生成的视频具有流畅
   的动作和高质量的画面。
 * **图像到视频（Image-to-Video）**：以图像为基础生成视频，保持图像的视觉风格和语
   义一致性，能从静态图像生成动态视频，适用于动画和视频内容创作。
 * **广告视频生成（Goku+）**：生成高质量的广告视频，支持人物与产品的自然互动。可以
   将广告视频的制作成本降低100倍，生成的视频具有稳定的手部动作和丰富的面部表情。
 * **虚拟数字人视频生成**：生成虚拟数字人的视频，具有高度的逼真感和自然的动作，适用
   于虚拟主播、虚拟客服等场景。
 * **多模态生成**：支持多种模态的生成任务，包括图像、视频和文本的联合生成。通过共享
   潜在空间和全注意力机制，Goku能无缝处理图像和视频的复杂时空依赖关系。

## Goku的技术原理

 * **图像-视频联合VAE**：Goku采用3D联合图像-视频变分自编码器（VAE），将图像和视频
   输入压缩到共享的潜在空间。使模型能处理多种媒体格式，包括图像和视频，在统一框架
   内进行表示。
 * **Transformer架构**：Goku模型家族包含2B和8B参数的Transformer架构。架构基于全注意力
   机制，能有效处理图像和视频的复杂时空依赖关系，实现高质量、连贯的输出。
 * **校正流公式**：基于Rectified Flow（RF）算法，Goku通过线性插值在先验分布和目标
   数据分布之间进行训练。相比传统的扩散模型，展现出更快的收敛速度和更强的理论性质。
 * **多阶段训练策略**：Goku采用多阶段训练策略，包括图文语义对齐预训练、图像-视频
   联合训练，以及针对不同模态的微调。逐步提升模型的生成能力，确保在大规模数据集上
   的高效训练。
 * **大规模高质量数据集**：研究人员构建了约3600万视频和1.6亿图像的大规模数据集，
   采用多种数据过滤和增强技术来提高数据质量。数据集为模型训练提供了丰富的素材。
 * **高效的训练基础设施**：Goku的训练基础设施包括并行策略、细粒度激活检查点技术、
   容错机制以及ByteCheckpoint技术。显著提升了训练效率和稳定性。

## Goku的项目地址

 * **项目官网**：[https://saiyan-world.github.io/goku/](https://saiyan-world.github.io/goku/?utm_source=ai-bot.cn)
 * **Github仓库**：[https://github.com/Saiyan-World/goku](https://github.com/Saiyan-World/goku)
 * **HuggingFace模型库**：[https://huggingface.co/datasets/saiyan-world/Goku](https://huggingface.co/datasets/saiyan-world/Goku-MovieGenBench)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2502.04896](https://arxiv.org/pdf/2502.04896)

## Goku的应用场景

 * **广告视频制作**：Goku+能根据文本描述生成高质量的广告视频，支持从文本直接生成
   视频、从产品图片生成人物互动视频，以及生成产品展示视频。
 * **虚拟数字人视频生成**：Goku+可以将文本转换为超现实的人类视频，生成超过20秒的
   视频，具有稳定的手部动作和极具表现力的面部及身体动作。
 * **内容创作**：Goku能生成包括动画、自然风光、动物行为等多种场景的视频。可以生成
   一位时尚女性在东京街头漫步的视频，或者数只巨型猛犸象在雪地上行走的场景。为艺术
   创作者提供了丰富的灵感和创作素材。
 * **教育与培训**：Goku可以用于制作教育视频和培训课程，通过生成生动的视频内容，提高
   教育培训的效果和趣味性。
 * **娱乐产业**：在电影、电视剧、动画等娱乐产业中，Goku可用于内容制作和特效生成。
   能生成高质量的视频内容，为创作者提供更多可能性。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

Goku支持哪些视频生成模式？

Goku支持文生视频、图生视频、文生图等多种模式，并可在统一框架下处理图像与视频的联合
生成，适合内容创作、广告制作和多模态生成任务。

Goku+适合做什么广告场景？

Goku+主要面向广告视频创作，可将产品图片转化为视频，支持人物与产品自然互动、虚拟数字
人展示，以及短视频广告和产品宣传等场景。

Goku为什么被认为训练效率高？

文章提到Goku基于约3600万视频和1.6亿图像的大规模数据集，并采用并行策略、激活检查点
和容错机制等训练基础设施，以提升效率和稳定性。

🔬 语宙深潜追问 · 进阶实操拆解

文生视频落地最该控制什么变量？

最该控制的是镜头一致性、角色一致性和时长可控性。实操中要先把脚本拆成分镜，再固定
风格参考和运动幅度，避免每个镜头都“很惊艳但不连贯”，否则很难直接用于商业交付。

如何把视频生成成本真正降下来？

不能只看单次生成费用，要算重拍率、人工修正率和素材复用率。把高频模板、品牌资产和
镜头库沉淀下来，再结合批量生成与局部编辑，成本才会从“省一点”变成“数量级下降”。

🗳️ 读者观点微投票 · 您的实战立场是？

AI 视频生成最先颠覆广告还是短视频制作？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Video-T1 – 清华联合腾讯推出的视频生成技术](https://paooo.com/aigc-news/20781/)
 * [CogVideoX v1.5 – 智谱最新开源的AI视频生成模型](https://paooo.com/aigc-news/25751/)
 * [混元图生视频 – 腾讯混元开源的图生视频模型](https://paooo.com/aigc-news/21240/)
 * [Video Alchemist – AI视频生成模型，具备多主体开放集合个性化能力](https://paooo.com/aigc-news/22753/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22107/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
