💡 站外导读:为什么靠文生图起家的实验室,要把算力全面押注到视频、原生音频与机械臂动作预测?在 Latent Space 最新长谈中,Andreas Blattmann 与 Dustin Podell 复盘了离开 Stability AI 创立 BFL 的历程,结合 FLUX 3 官方实证,深度拆解多模态视觉智能、扩散与自回归算力取舍及世界动作模型路线。
走出静态图像的感知天花板:为什么 FLUX 3 必须同时吞下像素、运动与声音?
接球直觉与“三模态联合投影”:单一传感器永远丢失另一半物理现实
当谈及为何不满足于把静态文生图做到极致、而是决意转向视频与世界模型时,Andreas Blattmann 抛出了一个极富物理直觉的“接球实验”:如果有人向你扔出一颗球,你在大脑写下抛物线微分方程之前,手臂就已经提前伸向了落点。这种无需显式符号推演的预测能力,正是 Black Forest Labs 所追求的“真实世界视觉智能(Real-World Visual Intelligence)”。按照 BFL 的底层工程哲学,没有任何一种单一模态能完整描述客观世界——静态图片只截取了某瞬间的空间结构,视频补齐了时间轴、动态轨迹与质量惯性,而音频则编码了纯视觉摄像头极易错过的机械碰撞因果关系(例如撞击声响精准锁定了物体接触的时刻)。
如果只训练单模态模型,网络最多只是该孤立投影上的优秀拟合器;只有把图像、移动视频与声音信号放进同一套架构联合训练,模态之间的物理约束才会迫使模型学出背后共享的现实世界表征——声音必须严丝合缝匹配碰撞瞬间的画面,物体后续运动必须受制于此前帧中的质量与动量。为此,BFL 在 Self-Flow(高效对齐多模态生成与理解的统一流匹配方案)基础上大幅扩充算力与数据管线,打造出原生多模态底座 FLUX 3。据 BFL 官方博客披露,与常规 Flow Matching 基线相比,Self-Flow 在各模态上的生成 Fréchet 距离误差显著压低,且在后续微调下游操作任务时获得了明显更高的平均成功率,使单模型得以一口气打通最长 20 秒的 720p/1080p 原生音画视频、多语种精确口型对话、首尾及多关键帧控制以及低成本快速试错的 Draft Mode 草稿预览模式。

移动相机、抗闪烁视频超分与 FLUX Kontext:从几小时关系实验长出的工程护城河
共用主干网络消除帧间抖动(Shimmer),从“狗戴帽子”先验撬动跨帧身份保持
在具体的模型工程拆解中,访谈披露了两个极易被外界忽视、却直接决定生成质量上限的技术细节。其一是“移动相机(Moving Camera)”蕴含的三维强监督信号:当镜头从人物正面平滑环绕到背后时,哪怕训练集只是普通的二维视频流,模型也必须在连续时间窗口里“欠账必还”,交出合理且结构一致的脑后部与空间遮挡关系——这比仅仅判断单张静态帧是否好看要严苛得多。其二则落在视频超分辨率(Upscaling)环节:如果把一段视频拆成单帧独立锐化,每一帧单独看都清晰锐利,但连起来播放却会因为超分器在相邻帧做出微小差异化脑补而剧烈闪烁(shimmer)。BFL 的工程解法是拒绝外挂独立超分模块,直接从同一个 FLUX 3 主干衍生出视频超分管线,借由原生时空一致性把 720p 输出无损升格至 1080p 全高清。
更令人拍案的是主力图像编辑模型 FLUX Kontext 的诞生秘辛。Dustin Podell 回忆,团队最初并没有直接铺开庞大标注工程,而是基于一个精巧的先验猜想:既然一个基础图像模型已经知道怎么画“戴着帽子的狗”,那它的隐空间里一定已经学懂了物体之间的空间附着关系。于是他与一位同事仅收集了极少量的关系标注照片,跑了一轮短短几小时的微调实验,验证模型能否学会“把指定 Logo 印到一件衬衫上”。尽管第一版效果略显粗糙,但验证出的强泛化潜质足以说服全队投入数月时间死磕数据清洗与模型迭代。最终上线后最令 Podell 动容的并非商业广告,而是大量普通用户拿 FLUX Kontext 修复泛黄破损的家族老照片——能在跨编辑与跨帧过程中牢牢守住一个人的面部身份特征,才是视觉工程真正被真实生活感知的时刻。

自回归 vs 扩散流匹配:算力账单与推理延迟的硬核取舍,以及 FLUX 3 早期战绩
为训练阶段买单还是为推理出图速度买单?原生音画视频盲测直面国内外一线阵营
面对“大语言模型式自回归(Autoregressive)架构是否终将吞并图像与视频生成”的业界尖锐提问,Andreas Blattmann 给出了极其清醒的算力经济学回答。他坦承自回归架构拥有无可争议的训练端红利:单条训练样本中的所有 Token 都可以被并行纳入目标函数同步学习,信息利用率极高;但回到扩散与 Flow Matching 阵营,团队可以通过轨迹蒸馏(distillation)把原本漫长的多步采样过程一路压缩到仅仅“屈指可数的几步(a handful of steps)”,从而在推理端换来极低的端到端延迟与并发成本。换言之,两条路线的本质分歧并不在于审美偏好,而在于团队究竟愿意为“训练算力吞吐”买单,还是为“千万用户等待出图的推理账单”买单。
在商业化与评测进度上,BFL 披露的 FLUX 3 Video(10 秒 720p 原生音画文生视频)早期人类盲测偏好数据已经相当亮眼:在多组一对一盲测中,FLUX 3 面对 Luma Ray 3.2 拿下 93% 偏好率,面对 Runway Gen-4.5 达 77%,面对 Grok Imagine Video 为 69%,面对 Kling v3 Pro 达 60%,面对 Happy Horse v1 与 1.1 分别为 59% 与 57%,而在对比 Seedance 2.0 与 Gemini Omni Flash 时也保持了 52% 的微弱领先;随后的正式发布版评估中,其在图生视频维度上进一步实现与 Seedance 2.0 打平并领跑其余主流对手,同时支持含中文、英、日、德、法、西等十余种语言的精确口型同步与多镜头叙事切换。

| 技术范式 / 模型路线 | 核心训练信号与表征机制 | 训练与推理算力经济学取舍 | 时序一致性与物理 AI 延展能力 |
|---|---|---|---|
| 传统静态图像扩散模型 | 纯图文对空间分布学习,缺乏时间轴与声学因果约束 | 单图推理可蒸馏加速,但无法直接建模跨帧连续性 | 难以泛化至三维视角旋转与物理动作预测 |
| 拼接式视频生成与独立超分管线 | 帧间预测与后处理锐化割裂,各模块分别做局部决策 | 多管线串联维护复杂,叠加后处理增加端到端耗时 | 极易产生逐帧细节闪烁(Shimmer)与物理脱节 |
| 纯自回归(Autoregressive)视觉路线 | 离散/连续 Token 序列预测,单样本全 Token 并行监督 | 训练阶段样本利用效率高,但高分辨率长序列推理步数多、成本重 | 与语言同构易统一接口,但长程时序视觉保真度仍受序列长度制约 |
| BFL FLUX 3 (Self-Flow 统一底座) | 图像+移动视频+原生音频+动作四维对齐联合流匹配 | Flow Matching 支持少步数蒸馏低延迟,配合 Draft Mode 分级省费 | 同主干超分消除闪烁,可直接作为 FLUX-mimic 机械臂动作基座 |
从影视生成走向 2027 物理 AI 与机器人:FLUX-mimic 揭开世界动作模型路线图
两条腿打通 Action Prediction,为什么灵巧机械臂与视频创作跑在同一个基座上
这场技术长谈最具有前瞻性的一幕,落在后半程关于“世界动作模型(World Action Models)”与 2027 机器人生态的推演上。BFL 团队明确指出,真正理解物理动力学、材料形变与三维遮挡的视频模型,与能够控制机器人完成精细操作的物理 AI(Physical AI),在底层表征上本就同源。在 BFL 的技术路线图里,通向动作预测(Action Prediction)正通过两条并行路径加速推进:一方面在 Self-Flow 框架内把原生动作预测直接整合进 FLUX 3 主模型;另一方面则把海量视频预训练出的动力学感知主干作为基础底座,让合作伙伴仅用有限的特定任务遥操作数据就能微调出高性能专用动作策略模型。
目前,BFL 已经与灵巧操作机器人企业 mimic robotics 联合推出视频-动作模型 `FLUX-mimic`,并开始在奥迪(Audi)的真实生产制造任务中展开验证测试。按照 BFL 公布的完整产品矩阵,接下来将围绕同一套多模态流匹配主干分批落地四大支柱:`FLUX 3 Video`(已开放 API 与精选合作伙伴接入的音画视频生成)、`FLUX-mimic & FLUX 3 Action`(面向科研与工业伙伴的动作预测)、`FLUX 3 Image`(图像合成与精细编辑)以及面向开源社区的多模态权重底座 `FLUX 3 Dev`。对于视觉大模型赛道而言,从“画一张好看的图”到“在统一架构内联合预测感知、语言与物理动作”,新一轮基础设施洗牌才刚刚鸣枪。
📝 站长洞察 (Editor’s Insight)
听完 Andreas Blattmann 和 Dustin Podell 这场长谈,最震撼的不是 FLUX 3 盲测胜率,而是欧洲这支视觉团队清醒的第一性原理工程观。许多团队还在把文生图、视频生成、超分和具身智能拆成四套模型各自内卷,BFL 却用 Self-Flow 死磕同一套现实世界表征,连抗闪烁超分与奥迪产线机械臂微调都长在同一主干上。更值得技术团队借鉴的是 FLUX Kontext 的起点:用一个“狗戴帽子”直觉,拿少量样本跑几小时验证先验可行性后再全力压上——这种低成本快速验真的研发纪律比盲目堆卡稀缺得多。
FLUX 3 为什么要做视频和音频联合训练?
因为静态图片只能表达瞬间结构,无法覆盖运动轨迹、碰撞时刻和因果关系。把图像、视频、音频放进同一架构联合训练,模型才能学到共享的现实世界表征,提升多模态一致性与真实感。
Self-Flow 对 FLUX 3 的作用是什么?
Self-Flow 是 BFL 用来统一多模态生成与理解的流匹配方案。它帮助模型在图像、视频、音频等任务上获得更好的生成质量,并在后续下游操作任务中提升成功率,同时支持更高效的推理。
FLUX Kontext 适合做什么类型的图像编辑?
它适合需要保持主体身份和空间关系的编辑任务,例如给狗加帽子、把 Logo 印到衣服上、修复泛黄破损老照片等。其优势是能在跨编辑过程中尽量保住人物面部特征与对象关系。
