Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Goku – 港大和字节联合推出的最新视频生成模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Goku – 港大和字节联合推出的最新视频生成模型
Prompt 语宙 > AIGC 资讯 > Goku – 港大和字节联合推出的最新视频生成模型
AIGC 资讯

Goku – 港大和字节联合推出的最新视频生成模型

Prompt 语宙研究院
最近更新: 2026年6月8日 下午10:59
AI视频生成 HuggingFace Sora 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 港大×字节联合发布Goku,采用Rectified Flow Transformer与3D联合VAE,统一处理图像和视频生成。
  • Goku+主打广告视频创作,可生成20秒以上内容,支持产品图转视频与虚拟数字人互动。
  • 项目强调大规模数据与高效训练,约3600万视频、1.6亿图像支撑高质量输出与稳定训练。

Goku是什么

Goku是香港大学和字节跳动联合发布的最新视频生成模型,专为图像和视频的联合生成设计。基于先进的rectified flow Transformer框架,支持文生视频、图生视频及文生图等多种模式。Goku的核心优势包括高质量的视频生成能力、极低的广告视频制作成本(比传统方法低100倍)。Goku基于大规模高质量的数据集和高效的训练设施。研究人员构建了包含约3600万视频和1.6亿图像的数据集,采用多模态大语言模型生成语境一致的框架。Goku采用了先进的并行策略和容错机制,确保训练过程的高效性和稳定性。

阅读目录
  • Goku是什么
  • Goku的主要功能
  • Goku的技术原理
  • Goku的项目地址
  • Goku的应用场景

Goku+是基于Goku模型推出的扩展版本,专注于广告视频创作,能快速生成高质量的广告视频,支持20秒以上的视频生成,具备稳定的手部动作和丰富的面部及身体表情。Goku+可将产品图片转化为吸引人的视频,支持虚拟数字人与产品互动,增强广告吸引力。适用于电商、品牌宣传、短视频广告和产品展示等多种场景,能显著降低广告制作成本,提升创作效率。

Goku

Goku的主要功能

  • 文本到图像(Text-to-Image):根据文本描述生成高质量图像,能生成细节丰富且与文本描述高度一致的图像。
  • 文本到视频(Text-to-Video):根据文本描述生成连贯的视频,生成的视频具有流畅的动作和高质量的画面。
  • 图像到视频(Image-to-Video):以图像为基础生成视频,保持图像的视觉风格和语义一致性,能从静态图像生成动态视频,适用于动画和视频内容创作。
  • 广告视频生成(Goku+):生成高质量的广告视频,支持人物与产品的自然互动。可以将广告视频的制作成本降低100倍,生成的视频具有稳定的手部动作和丰富的面部表情。
  • 虚拟数字人视频生成:生成虚拟数字人的视频,具有高度的逼真感和自然的动作,适用于虚拟主播、虚拟客服等场景。
  • 多模态生成:支持多种模态的生成任务,包括图像、视频和文本的联合生成。通过共享潜在空间和全注意力机制,Goku能无缝处理图像和视频的复杂时空依赖关系。

Goku的技术原理

  • 图像-视频联合VAE:Goku采用3D联合图像-视频变分自编码器(VAE),将图像和视频输入压缩到共享的潜在空间。使模型能处理多种媒体格式,包括图像和视频,在统一框架内进行表示。
  • Transformer架构:Goku模型家族包含2B和8B参数的Transformer架构。架构基于全注意力机制,能有效处理图像和视频的复杂时空依赖关系,实现高质量、连贯的输出。
  • 校正流公式:基于Rectified Flow(RF)算法,Goku通过线性插值在先验分布和目标数据分布之间进行训练。相比传统的扩散模型,展现出更快的收敛速度和更强的理论性质。
  • 多阶段训练策略:Goku采用多阶段训练策略,包括图文语义对齐预训练、图像-视频联合训练,以及针对不同模态的微调。逐步提升模型的生成能力,确保在大规模数据集上的高效训练。
  • 大规模高质量数据集:研究人员构建了约3600万视频和1.6亿图像的大规模数据集,采用多种数据过滤和增强技术来提高数据质量。数据集为模型训练提供了丰富的素材。
  • 高效的训练基础设施:Goku的训练基础设施包括并行策略、细粒度激活检查点技术、容错机制以及ByteCheckpoint技术。显著提升了训练效率和稳定性。

Goku的项目地址

  • 项目官网:https://saiyan-world.github.io/goku/
  • Github仓库:https://github.com/Saiyan-World/goku
  • HuggingFace模型库:https://huggingface.co/datasets/saiyan-world/Goku
  • arXiv技术论文:https://arxiv.org/pdf/2502.04896

Goku的应用场景

  • 广告视频制作:Goku+能根据文本描述生成高质量的广告视频,支持从文本直接生成视频、从产品图片生成人物互动视频,以及生成产品展示视频。
  • 虚拟数字人视频生成:Goku+可以将文本转换为超现实的人类视频,生成超过20秒的视频,具有稳定的手部动作和极具表现力的面部及身体动作。
  • 内容创作:Goku能生成包括动画、自然风光、动物行为等多种场景的视频。可以生成一位时尚女性在东京街头漫步的视频,或者数只巨型猛犸象在雪地上行走的场景。为艺术创作者提供了丰富的灵感和创作素材。
  • 教育与培训:Goku可以用于制作教育视频和培训课程,通过生成生动的视频内容,提高教育培训的效果和趣味性。
  • 娱乐产业:在电影、电视剧、动画等娱乐产业中,Goku可用于内容制作和特效生成。能生成高质量的视频内容,为创作者提供更多可能性。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
Goku支持哪些视频生成模式?

Goku支持文生视频、图生视频、文生图等多种模式,并可在统一框架下处理图像与视频的联合生成,适合内容创作、广告制作和多模态生成任务。

Goku+适合做什么广告场景?

Goku+主要面向广告视频创作,可将产品图片转化为视频,支持人物与产品自然互动、虚拟数字人展示,以及短视频广告和产品宣传等场景。

Goku为什么被认为训练效率高?

文章提到Goku基于约3600万视频和1.6亿图像的大规模数据集,并采用并行策略、激活检查点和容错机制等训练基础设施,以提升效率和稳定性。

🔬 语宙深潜追问 · 进阶实操拆解
文生视频落地最该控制什么变量?

最该控制的是镜头一致性、角色一致性和时长可控性。实操中要先把脚本拆成分镜,再固定风格参考和运动幅度,避免每个镜头都“很惊艳但不连贯”,否则很难直接用于商业交付。

如何把视频生成成本真正降下来?

不能只看单次生成费用,要算重拍率、人工修正率和素材复用率。把高频模板、品牌资产和镜头库沉淀下来,再结合批量生成与局部编辑,成本才会从“省一点”变成“数量级下降”。

🗳️ 读者观点微投票 · 您的实战立场是?
AI 视频生成最先颠覆广告还是短视频制作?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • Video-T1 – 清华联合腾讯推出的视频生成技术
  • CogVideoX v1.5 – 智谱最新开源的AI视频生成模型
  • 混元图生视频 – 腾讯混元开源的图生视频模型
  • Video Alchemist – AI视频生成模型,具备多主体开放集合个性化能力
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
400亿美元算力豪赌突遭急刹!新型云Nebius激进Capex遭遇交付滑铁卢:微软194亿订单被迫延期至2027、违规发电机被罚110万与Neocloud预付款融资脆弱性深度拆解
Qwen2.5-VL-32B – 阿里开源的最新多模态模型
VisoMaster – AI换脸和编辑软件,支持图片和视频高质量换脸
[AI生图咒语] 例329 – 烬甲猎鹰者与燃翼神禽
Flo
TAGGED:AI视频生成HuggingFaceSora大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 RuoYi AI – 全栈式 AI 开发平台,快速搭建个性化 AI 应用 RuoYi AI – 全栈式 AI 开发平台,快速搭建个性化 AI 应用
下一篇 Mercury Coder – Inception Labs 推出的商业级扩散大型语言模型 Mercury Coder – Inception Labs 推出的商业级扩散大型语言模型
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

Karpathy重磅开源nanochat:仅需100美元,从零自建你的ChatGPT全栈项目
AI 工具AIGC 资讯

Karpathy重磅开源nanochat:仅需100美元,从零自建你的ChatGPT全栈项目

Prompt 语宙研究院
Andrej Karpathy ChatGPT nanochat 大语言模型 开源项目
OpenAI首款智能音箱曝光,将搭载GPT-Live语音模型
AIGC 资讯

OpenAI首款智能音箱曝光,将搭载GPT-Live语音模型

Prompt 语宙研究院
3D与空间智能 AI智能体 AI音频与语音 OpenAI 开源大模型
谷歌Gemini 3.1 Flash-Lite发布:性价比碾压GPT-5 mini,多模态AI如何重塑开发范式?
AI 工具AIGC 资讯

谷歌Gemini 3.1 Flash-Lite发布:性价比碾压GPT-5 mini,多模态AI如何重塑开发范式?

Prompt 语宙研究院
AIGC AI编程 Claude Gemini Google AI OpenAI 多模态AI 谷歌
Director – 构建视频智能体AI框架,用自然语言执行搜索、总结等复杂视频任务
AIGC 资讯

Director – 构建视频智能体AI框架,用自然语言执行搜索、总结等复杂视频任务

Prompt 语宙研究院
AI办公效率 AI智能体 AI视频生成 RAG检索增强 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.