Sora 的视频效果之惊艳让人难以置信,我因此深入探究了其背后的技术原理。它采用了两种技术:一是扩散技术(从随机噪声出发,逐步精细化至目标视频),二是 Transformer 架构(负责处理视频帧的连续序列)。让我们一探究竟吧!
以这样一个例子开始:提示词为“一朵花在郊区房屋的窗台上生长的定格动画”。Sora 并不是直接将文本转换成视频帧,而是通过处理时空补丁来实现。
这些时空补丁能够同时捕捉到发生的事件(空间)以及事件发生的时间(时间),就像是微小的视频碎片组成的拼图。
![探索 Sora:视频制作的魔法 [译]](http://paooo.com/wp-content/uploads/2025/03/GGyMfbEboAAZcev.avif)
想象一下,如果把视频比作一个巨大的长方体(包含空间和时间的维度),Sora 就是通过将这个长方体切割成许多小块,每一小块都代表了一段特定的空间和时间。
![探索 Sora:视频制作的魔法 [译]](http://paooo.com/wp-content/uploads/2025/03/GGyMf6rbUAAoqhg.avif)
以我们的例子为例:首先,Sora 分析描述,识别出关键元素:
- 物体(即将绽放的花朵和沐浴在阳光下的窗台)
- 行为(花朵随着时间的推移而展开)
- 地点(位于郊区的场景)
- 甚至是艺术风格(定格动画的特点)。
然后是时空补丁的处理。对于渴望绽放的花朵,阳光照耀的窗台,以及花朵随时间缓慢生长的过程,每一个场景都被转化成一个个补丁,这些补丁随着视频场景的展开而逐渐演变。
这些补丁并非随意的片段。为了能够将它们有条不紊地组合起来,Sora 内置了知识图谱。这些数据库内含了物理世界的信息、物体间如何相互作用,乃至于艺术风格的各种数据。
Sora 能够洞察到:
- 花朵是如何一瓣一瓣地自然生长的,
- 它如何随着时间的推移与阳光发生互动,
- 以及如何保持定格动画特有的逐帧变换效果。
这些独立的画面片段共同构成了一幅充满噪点的画布。
![探索 Sora:视频制作的魔法 [译]](http://paooo.com/wp-content/uploads/2025/03/GGyMhG2a8AAMHPq.avif)
随后,扩散模型技术将这些噪点密集、抽象的画面片段逐步精细化,直到展现出它们最终的样貌。花瓣逐渐形成,阳光变得更加清晰,而定格动画的风格也像是在逐帧绘制中一步步浮现。
在处理这些独立片段的同时,变换器技术分析着不同画面之间随时间变化的相互关系。这样,花朵能够平滑地成长,阳光自然地转换,整个视频中定格动画的风格也得以始终如一地保持。这一切,都是通过逐个像素的精细调整实现的。
![探索 Sora:视频制作的魔法 [译]](http://paooo.com/wp-content/uploads/2025/03/GGyMjZha4AABjT0.avif)
它能够处理多种视频相关的任务:
![探索 Sora:视频制作的魔法 [译]](http://paooo.com/wp-content/uploads/2025/03/GGyMj5qawAAseLZ.avif)
然而,尽管如此,我们还有很长的路要走。目前它还不能精确地模拟许多基本互动的物理特性,比如这里女人挥手时的不自然手势,有人形象地将其描述为“试图在三维空间里表现得像人类的超维度外星人”。
Sora 是怎么生成视频的?
Sora 并不是把文本直接变成视频帧,而是先把视频拆成时空补丁,再结合扩散模型逐步去噪成像,并用 Transformer 建模帧与帧之间的时间关系,从而生成连贯视频。
Sora 的核心技术是什么?
文章中提到的核心技术有两项:扩散技术和 Transformer 架构。前者负责从随机噪声中逐步生成清晰画面,后者负责处理视频连续帧的时序关系,保证动作和风格一致。
Sora 目前有哪些不足?
它在画面生成上很惊艳,但对复杂物理互动的模拟仍不够准确。文章举例提到人物挥手等动作会显得不自然,说明它在真实世界运动细节上还有提升空间。
扩散模型和 Transformer 各管什么?
扩散模型负责从噪声中逐步生成清晰画面,擅长细节还原;Transformer 负责建模帧与帧之间的依赖关系,保证动作和镜头变化连续。前者解决“像不像”,后者解决“连不连贯”。
想做可商用视频生成,先补哪块?
优先补物理交互和镜头控制。商用场景最怕手部、碰撞、遮挡和物体持久性出错,其次才是画质。若能把可控性做强,比如角色一致性、运镜约束和局部编辑,落地价值会更高。
