# Open-Sora – 开源的类Sora架构的视频生成模型和复现方案

- Link: https://paooo.com/aigc-news/28085/
- Published: 2026-07-09T19:11:14+08:00
- Author: 站外新闻

## Open-Sora是什么

Open-Sora是由Colossal-AI团队开源的视频生成模型，旨在复现[OpenAI](https://paooo.com/tag/openai/)
的[Sora](https://ai-bot.cn/sites/8613.html)视频生成产品。Open-Sora同样基于DiT架构，
通过三个阶段训练：大规模图像预训练、大规模视频预训练和高质量视频数据微调，以生成
与文本描述相符的视频内容。该开源解决方案涵盖了整个视频生成模型的训练过程，包括数据
处理、所有训练细节和模型检查点，供所有对文生视频模型感兴趣的人免费学习和使用。

阅读目录

 * [Open-Sora是什么](https://paooo.com/aigc-news/28085/#opensora%e6%98%af%e4%bb%80%e4%b9%88)
 * [Open-Sora的官网入口](https://paooo.com/aigc-news/28085/#opensora%e7%9a%84%e5%ae%98%e7%bd%91%e5%85%a5%e5%8f%a3)
 * [Open-Sora的模型架构](https://paooo.com/aigc-news/28085/#opensora%e7%9a%84%e6%a8%a1%e5%9e%8b%e6%9e%b6%e6%9e%84)
    - [核心组件](https://paooo.com/aigc-news/28085/#%e6%a0%b8%e5%bf%83%e7%bb%84%e4%bb%b6)
    - [架构设计](https://paooo.com/aigc-news/28085/#%e6%9e%b6%e6%9e%84%e8%ae%be%e8%ae%a1)
 * [Open-Sora的复现方案](https://paooo.com/aigc-news/28085/#opensora%e7%9a%84%e5%a4%8d%e7%8e%b0%e6%96%b9%e6%a1%88)
    - [第一阶段：大规模图像预训练](https://paooo.com/aigc-news/28085/#%e7%ac%ac%e4%b8%80%e9%98%b6%e6%ae%b5%e5%a4%a7%e8%a7%84%e6%a8%a1%e5%9b%be%e5%83%8f%e9%a2%84%e8%ae%ad%e7%bb%83)
    - [第二阶段：大规模视频预训练](https://paooo.com/aigc-news/28085/#%e7%ac%ac%e4%ba%8c%e9%98%b6%e6%ae%b5%e5%a4%a7%e8%a7%84%e6%a8%a1%e8%a7%86%e9%a2%91%e9%a2%84%e8%ae%ad%e7%bb%83)
    - [第三阶段：高质量视频数据微调](https://paooo.com/aigc-news/28085/#%e7%ac%ac%e4%b8%89%e9%98%b6%e6%ae%b5%e9%ab%98%e8%b4%a8%e9%87%8f%e8%a7%86%e9%a2%91%e6%95%b0%e6%8d%ae%e5%be%ae%e8%b0%83)

![Open-Sora](https://paooo.com/wp-content/uploads/2026/07/open-sora-project-1.avif)

## Open-Sora的官网入口

 * 官方项目主页：[https://hpcaitech.github.io/Open-Sora/](https://hpcaitech.github.io/Open-Sora/)
 * GitHub代码库：[https://github.com/hpcaitech/Open-Sora](https://github.com/hpcaitech/Open-Sora)

## Open-Sora的模型架构

Open-Sora模型采用当前流行的[Diffusion Transformer（DiT）架构](https://ai-bot.cn/dit/)，
使用华为开源的PixArt-α高质量文本到图像生成模型，并通过添加时间注意力层将其扩展为
生成视频。具体设计如下：
 ⌊Open-Sora的架构⌉

### 核心组件

 * **预训练的VAE (变分自编码器)**：VAE是用于数据压缩的组件，它将输入的视频数据映射
   到一个潜在空间的低维表示。在Open-Sora中，VAE的编码器部分在训练阶段用于压缩视频
   数据，而在推理阶段，它从潜在空间中采样高斯噪声并生成视频。
 * **文本编码器**：这个组件负责将文本提示（如描述视频内容的句子）转换为文本嵌入，
   这些嵌入随后与视频数据结合，以确保生成的视频符合文本描述。
 * **STDiT (Spatial Temporal Diffusion Transformer)**：这是Open-Sora的核心组件，
   一个利用空间-时间注意力机制的DiT模型。STDiT通过串行地在二维空间注意力模块上叠
   加一维时间注意力模块来建模视频数据中的时序关系。此外，交叉注意力模块用于对齐文本
   的语义信息。

### 架构设计

 * **空间-时间注意力机制**：STDiT模型的每一层都包含空间注意力模块和时间注意力模块。
   空间注意力模块处理视频帧的二维空间特征，而时间注意力模块则处理帧之间的时序关系。
   这种设计使得模型能够有效地处理视频数据中的空间和时间维度。
 * **交叉注意力**：在时间注意力模块之后，交叉注意力模块用于将文本嵌入与视频特征融合，
   确保生成的视频内容与文本描述相匹配。
 * **训练与推理流程**：在训练阶段，VAE的编码器将视频数据压缩，然后与文本嵌入一起
   用于训练STDiT模型。在推理阶段，从VAE的潜在空间中采样出噪声，与文本提示一起输入
   到STDiT模型中，生成去噪后的特征，最后通过VAE的解码器解码得到最终的视频。
    ⌊Open-
   Sora模型训练过程⌉

## Open-Sora的复现方案

Open-Sora的训练复现方案参考了Stable Video Diffusion (SVD)的工作，分为三个阶段：大规模
图像预训练、大规模视频预训练和高质量视频数据微调。通过这三个阶段的训练复现方案，
Open-Sora模型能够逐步提升其视频生成的能力，从基础的图像理解到复杂的视频内容生成，
最终达到高质量的视频生成效果。

### 第一阶段：大规模图像预训练

在第一阶段，模型通过大规模图像数据集进行预训练，以建立对图像内容的基本理解。这个
阶段的目的是利用现有的高质量图像生成模型（如[Stable Diffusion](https://paooo.com/tag/stable-diffusion/)）
作为基础，来初始化视频生成模型的权重。通过这种方式，模型能够从图像数据中学习到丰富
的视觉特征，为后续的视频预训练打下坚实的基础。

### 第二阶段：大规模视频预训练

第二阶段专注于大规模视频数据的预训练，目的是增强模型对视频时间序列的理解。在这个
阶段，模型通过大量的视频数据进行训练，以学习视频中的时序关系和动态变化。为了提高
模型的泛化能力，需要确保视频题材的多样性。此外，模型在这个阶段会加入时序注意力模
块，以更好地处理时间序列数据。这个阶段的训练会在第一阶段的基础上进行，使用前一阶段
的权重作为起点。

### 第三阶段：高质量视频数据微调

最后一个阶段是对模型进行微调，使用高质量的视频数据来进一步提升生成视频的质量和真实
感。在这个阶段，虽然使用的视频数据量可能比第二阶段少，但视频的时长、分辨率和质量
都会更高。微调过程有助于模型捕捉到更加细致和逼真的视频内容，从而生成更加符合用户
期望的视频。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)