7月23日,德国人工智能初创公司黑森林实验室(Black Forest Labs)正式发布多模态基础模型Flux3,标志着生成式视频技术迎来重大突破。该模型基于Self-Flow架构打造,配备专用的图像、视频、音频及动作编解码器,实现了对物理与数字环境的统一理解与生成。

作为首款支持原生音频生成的模型,Flux3可一次性输出长达20秒的音视频同步片段,并涵盖文本/图像/视频转视频、基于关键帧的转场及多语言对话等功能。在720p分辨率、10秒片段的早期测试中,Flux3展现出强劲竞争力,性能超越Luma Ray3.2(93%胜率)与Runway Gen-4.5(77%胜率),并在与Seedance2.0及Gemini Omni Flash等顶尖模型的对标中保持微弱优势。
此外,公司联合Mimic Robotics开发了适用于机器人领域的视频动作模型Flux-mimic,目前已在奥迪工厂开展生产任务测试。BFL采取分阶段推出策略,Flux3Video现已上线,Flux3Image与开源权重的“Flux3Dev”也将在近期陆续发布。通过打破单一模态的信息局限,Flux3正加速推动AI向具备感知与行动能力的物理世界“世界模型”演进。
Flux3代表多模态生成从“只会出画面”走向“画面、声音、动作同步生成”的新阶段。其价值不仅在于更长的原生音视频输出,也在于把文本、图像、视频与动作统一到同一生成框架中,适合短片制作、广告预演、交互内容和机器人动作建模。相比仅强调画质或单模态控制的方案,Flux3更接近“世界模型”路线。
Flux3最大的技术突破是什么?
Flux3的核心突破是首次支持原生音频生成,并能一次性输出最长20秒的音视频同步片段。它还结合图像、视频、音频和动作编解码器,提升了多模态统一理解与生成能力。
Flux3适合哪些应用场景?
它适合短视频生成、广告创意、分镜转场、多语言对话视频,以及机器人动作视频等场景。文中还提到其相关模型已在奥迪工厂开展生产任务测试,说明其具备面向物理世界的应用潜力。
Flux3和Luma、Runway相比表现如何?
在720p分辨率、10秒片段的早期测试中,Flux3表现更强,文中称其对Luma Ray3.2胜率为93%,对Runway Gen-4.5胜率为77%。这说明它在当前同类模型中具备明显竞争力。
20秒原生音视频生成最适合先落地什么场景?
最适合高频试错的短片段场景,比如广告预演、分镜测试、社媒短视频和概念片头。它的价值不在长片替代,而在快速把“想法”变成可评估素材,缩短前期沟通成本。
多模态同步生成如何避免画面和声音脱节?
先定义节奏锚点:动作起止、情绪转折、镜头切换和关键音效,再让模型围绕这些节点生成。后期最好保留可编辑轨道,方便单独微调音画同步,而不是一次性锁死。
