# 探索 Sora：视频制作的魔法 [译]

- Link: https://paooo.com/ai-study/8631/
- Published: 2025-03-20T09:28:33+08:00
- Author: 宝玉的分享

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * Sora 不是直接“文生视频”，而是先切分时空补丁，再逐步重建完整视频。
 * 扩散模型负责去噪成像，Transformer 负责跨帧时序一致性，是其核心能力来源。
 * 实测结论很明确：画面惊艳，但对复杂物理动作的模拟仍不够精准。

Sora 的视频效果之惊艳让人难以置信，我因此深入探究了其背后的技术原理。它采用了两种
技术：一是扩散技术（从随机噪声出发，逐步精细化至目标视频），二是 Transformer 架构（
负责处理视频帧的连续序列）。让我们一探究竟吧！

以这样一个例子开始：提示词为“一朵花在郊区房屋的窗台上生长的定格动画”。Sora 并不是
直接将文本转换成视频帧，而是通过处理时空补丁来实现。

这些时空补丁能够同时捕捉到发生的事件（空间）以及事件发生的时间（时间），就像是微小
的视频碎片组成的拼图。

![探索 Sora：视频制作的魔法 [译]](https://paooo.com/wp-content/uploads/2025/03/GGyMfbEboAAZcev.
avif)

想象一下，如果把视频比作一个巨大的长方体（包含空间和时间的维度），Sora 就是通过将
这个长方体切割成许多小块，每一小块都代表了一段特定的空间和时间。

![探索 Sora：视频制作的魔法 [译]](https://paooo.com/wp-content/uploads/2025/03/GGyMf6rbUAAoqhg.
avif)

以我们的例子为例：首先，Sora 分析描述，识别出关键元素：

 * 物体（即将绽放的花朵和沐浴在阳光下的窗台）
 * 行为（花朵随着时间的推移而展开）
 * 地点（位于郊区的场景）
 * 甚至是艺术风格（定格动画的特点）。

然后是时空补丁的处理。对于渴望绽放的花朵，阳光照耀的窗台，以及花朵随时间缓慢生长
的过程，每一个场景都被转化成一个个补丁，这些补丁随着视频场景的展开而逐渐演变。

这些补丁并非随意的片段。为了能够将它们有条不紊地组合起来，Sora 内置了知识图谱。这些
数据库内含了物理世界的信息、物体间如何相互作用，乃至于艺术风格的各种数据。

Sora 能够洞察到：

 * 花朵是如何一瓣一瓣地自然生长的，
 * 它如何随着时间的推移与阳光发生互动，
 * 以及如何保持定格动画特有的逐帧变换效果。

这些独立的画面片段共同构成了一幅充满噪点的画布。

![探索 Sora：视频制作的魔法 [译]](https://paooo.com/wp-content/uploads/2025/03/GGyMhG2a8AAMHPq.
avif)

随后，扩散模型技术将这些噪点密集、抽象的画面片段逐步精细化，直到展现出它们最终的
样貌。花瓣逐渐形成，阳光变得更加清晰，而定格动画的风格也像是在逐帧绘制中一步步浮现。

在处理这些独立片段的同时，变换器技术分析着不同画面之间随时间变化的相互关系。这样，
花朵能够平滑地成长，阳光自然地转换，整个视频中定格动画的风格也得以始终如一地保持。
这一切，都是通过逐个像素的精细调整实现的。

![探索 Sora：视频制作的魔法 [译]](https://paooo.com/wp-content/uploads/2025/03/GGyMjZha4AABjT0.
avif)

它能够处理多种视频相关的任务：

![探索 Sora：视频制作的魔法 [译]](https://paooo.com/wp-content/uploads/2025/03/GGyMj5qawAAseLZ.
avif)

然而，尽管如此，我们还有很长的路要走。目前它还不能精确地模拟许多基本互动的物理特性，
比如这里女人挥手时的不自然手势，有人形象地将其描述为“试图在三维空间里表现得像人类
的超维度外星人”。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**Sora ↗**

Sora是OpenAI的文本到视频模型，能生成多种类型视频，具有多种特色功能，在影视、广告
等领域有应用，介绍了其

**Sora ↗**

Sora是OpenAI的文本到视频模型，能生成多种类型视频，具有多种特色功能，在影视、广告
等领域有应用，介绍了其

❓ 常见问题解答（FAQ）

Sora 是怎么生成视频的？

Sora 并不是把文本直接变成视频帧，而是先把视频拆成时空补丁，再结合扩散模型逐步去噪
成像，并用 Transformer 建模帧与帧之间的时间关系，从而生成连贯视频。

Sora 的核心技术是什么？

文章中提到的核心技术有两项：扩散技术和 Transformer 架构。前者负责从随机噪声中逐步
生成清晰画面，后者负责处理视频连续帧的时序关系，保证动作和风格一致。

Sora 目前有哪些不足？

它在画面生成上很惊艳，但对复杂物理互动的模拟仍不够准确。文章举例提到人物挥手等动作
会显得不自然，说明它在真实世界运动细节上还有提升空间。

🔬 语宙深潜追问 · 进阶实操拆解

扩散模型和 Transformer 各管什么？

扩散模型负责从噪声中逐步生成清晰画面，擅长细节还原；Transformer 负责建模帧与帧之间
的依赖关系，保证动作和镜头变化连续。前者解决“像不像”，后者解决“连不连贯”。

想做可商用视频生成，先补哪块？

优先补物理交互和镜头控制。商用场景最怕手部、碰撞、遮挡和物体持久性出错，其次才是
画质。若能把可控性做强，比如角色一致性、运镜约束和局部编辑，落地价值会更高。

🗳️ 读者观点微投票 · 您的实战立场是？

Sora 真正的瓶颈是物理还是时序？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[⚡ 所属权威专题：OpenAI GPT 与 Sora 生态 →](https://paooo.com/topics/openai-gpt-sora/)

 * [Sora：探索大型视觉模型的前世今生、技术内核及未来趋势 [译]](https://paooo.com/ai-study/8639/)
 * [Sora 的工作原理（及其意义） [译]](https://paooo.com/ai-study/8627/)
 * [通过模拟一切视频生成将带我们走向通用人工智能，终有一天你可以在视频模型上运行 ChatGPT [译]](https://paooo.com/ai-study/8683/)
 * [Sora 2 实测：AI视频同步音画+物理引擎88%合规率，OpenAI如何重新定义内容创作？](https://paooo.com/aigc-news/13374/)

[🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战
分享专栏，聚焦海外一手 AI 技术动态与工程实践。

[📄 Markdown 纯净版](https://paooo.com/ai-study/8631/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
