跳到正文
Latent Space· swyx .ai·· 6 天前精选AI 评分77

Latent Space 对话 Black Forest Labs:从 FLUX 到视频与视觉智能的构建

Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs

AI 导读

Black Forest Labs(BFL)核心成员在 Latent Space 播客中探讨了视觉智能的构建路径与 FLUX 3 的技术考量。团队指出,单纯依靠静态图像难以理解三维与物理关系,FLUX 3 将图像、移动相机视频与声音信号联合训练,以学习时序连续性与角度变化。此外,团队分享了用于图像局部编辑的 FLUX Kontext 训练经验,并对比了自回归架构与扩散模型在训练与推理成本上的取舍。

推荐理由

访谈梳理了扩散团队从图像走向视频与世界模型的思考,展现了联合训练图像、视频与音频对物理一致性的提升。

正文 · AI 翻译

本期节目由 Deepgram 赞助。体验真正理解上下文的 Deepgram 语音智能体!#上下文就是一切

很少有人知道,正是 Stable Diffusion 让我决定全职投身 AI(我当时写了篇题为《多元宇宙,而非元宇宙》的文章,直指扎克伯格押错了宝)。巧的是,Dustin Podell 也有过同样的顿悟时刻——该模型一问世,他就辞掉了本职工作。不过我们随后走了完全不同的道路:我继续坚守自己熟悉的人类内容创作,而 Dustin 则与 Latent Diffusion 的共同发明人 Andreas Blattmann 以及 Stability AI 顶尖的图像生成团队一起,一头扎进了 AI 内容创作的深水区。后来 Stability 瓦解,但在 Anj Midha 的帮助下,核心团队拆分创立了 BFL,并迅速打造出惊艳业界的 Flux 系列图像生成新模型。然而,他们如今为何又要进军视频与世界模型?

Andreas 举了一个单手就能体会的例子:如果有人朝你扔来一个球,球还没飞到你面前,你的手就已经开始移动去接了。哪怕你写不出它的运动轨迹方程,也能做到这一点。他所说的构建视觉智能,指的就是这种认知能力。一张静态图片只能展示球在哪里,一段视频能展示球是如何飞过去的,而撞击声哪怕在镜头漏拍接触瞬间时,也能告诉你球是在何时撞上物体的。这正是 BFL 坚持将这三种信号结合起来训练 FLUX 3 的底层逻辑。BFL 发布 FLUX 3

我们在开篇展示的奔马就是 FLUX 3 的生成样例之一。音频示例非常值得打开声音听一听。 FLUX 3 视频

移动的镜头能教给模型什么

设想镜头从一个人正前方起幅,然后环绕移动。在某个时刻,模型就必须补全并呈现出对方的后脑勺。Andreas 认为,普通的二维视频中蕴含着大量线索,足以推断物体从其他角度看过去的样子。虽然这还不足以证明模型是否真正“理解了物理规律”——这也是我们反复争论的焦点——但相比于仅仅评估单帧画面是否逼真,这无疑提供了一种更有效的检验标准。

节目后半部分提到了一个绝佳的工程案例:如果单独对视频片段的每一帧进行锐化,每一帧看起来可能都非常惊艳;可一旦点击播放,多出来的细节就会出现闪烁,因为放大算法在每一帧上的处理决策都略有差异。BFL 的视频放大算法直接脱胎于同一个 FLUX 3 骨干网络。哪怕用户只要求导出一份更高分辨率的文件,时序一致性也同样至关重要。

训练算力究竟该花在什么地方?

我向他们提出的问题之一是:自回归架构是否正在全面接管图像生成?Andreas 客观地肯定了对方的长处。自回归模型能一次性从训练样本的所有 token 中完成学习;而在扩散模型这边,团队则能把漫长的采样过程蒸馏精简到寥寥数步。究竟哪种优势更关键,取决于你是在为训练模型买单,还是在屏幕前焦急等待最终的出图。

Dustin 早期做的一个 Kontext 实验,很好地体现了他们如何决定研发投入方向。他推测,既然图像模型能画出一只戴着帽子的狗,那它对帽子应该戴在什么位置其实早有认知。他和同事便收集了一小批标注了位置关联的照片。几个小时的训练跑下来,模型就学会了把 logo 贴到衬衫上。效果虽然粗糙,但拿到下一次全员会上展示已经足够了。随后团队又投入数月时间打磨数据和模型。FLUX Kontext 示例

节目快结束时提到的那个用户案例最打动我:有人把老旧破损的家庭合照喂给 FLUX 修复,再拿给家人看。Dustin 坦言自己根本没料到会有这种用法。聊了那么多关于在编辑与跨帧时保持人物身份一致性的话题,这个生动的例子恰恰证明了:只要你做对了,真正受用的人自然能感受得到。

节目要点

章节导航

0:00 主持人开场
3:39 精彩先知
4:23 Black Forest 的起源
9:23 Dustin 的技术之路
17:04 视觉智能
27:38 深入解读 SDXL
33:59 学习运动特征
39:57 流匹配(Flow matching)
46:57 创立 BFL
50:36 赞助商环节:Deepgram
51:43 FLUX 的早期用例
54:58 用 Kontext 进行图像编辑
1:03:15 训练数据
1:07:32 测试编辑效果
1:13:12 自回归
1:20:50 世界动作模型
1:30:08 展望 2027 年的机器人技术
1:32:16 谁在用 FLUX?

来源:Latent Space · latent.space

EVAOO 主站实战落地 · AI 视觉创意与多模态

看完情报?回到 EVAOO 主站直接上手工具与完整 SOP

返回 EVAOO 主站