# DiT – 基于Transfomer架构的扩散模型

- Link: https://paooo.com/aigc-news/28328/
- Published: 2026-07-09T14:01:34+08:00
- Author: 站外新闻

## DiT是什么

DiT（Diffusion Transformers）是一种新型的扩散模型，由William Peebles（Sora的研发
负责人之一） 与纽约大学助理教授谢赛宁提出，结合了去噪扩散概率模型（DDPMs）和Transformer
架构。扩散模型是一种生成模型，通过模拟数据的逐步去噪过程来生成新的样本。DiT的核心
思想是使用Transformer作为扩散模型的骨干网络，而不是传统的卷积神经网络（如U-Net），
以处理图像的潜在表示。近期伴随[OpenAI](https://paooo.com/tag/openai/)视频生成模型
[Sora](https://ai-bot.cn/sites/8613.html)的大热，DiT被视为Sora背后的技术基础之一
而广受关注。

阅读目录

 * [DiT是什么](https://paooo.com/aigc-news/28328/#dit%e6%98%af%e4%bb%80%e4%b9%88)
 * [DiT的官网入口](https://paooo.com/aigc-news/28328/#dit%e7%9a%84%e5%ae%98%e7%bd%91%e5%85%a5%e5%8f%a3)
 * [DiT的技术原理](https://paooo.com/aigc-news/28328/#dit%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [DiT的关键特点](https://paooo.com/aigc-news/28328/#dit%e7%9a%84%e5%85%b3%e9%94%ae%e7%89%b9%e7%82%b9)

![DiT模型](https://paooo.com/wp-content/uploads/2026/07/dit-diffusion-models-1.avif)

在DiT中，图像首先通过一个自动编码器（如变分自编码器VAE）被压缩成较小的潜在表示，
然后在这个潜在空间中训练扩散模型。这样做的好处是可以减少直接在高分辨率像素空间训练
扩散模型所需的计算量。DiT模型通过Transformer的自注意力机制来处理这些潜在表示，这
使得模型能够捕捉到图像的长距离依赖关系，从而生成高质量的图像。

## DiT的官网入口

 * 官方项目主页：[https://www.wpeebles.com/DiT](https://www.wpeebles.com/DiT)
 * Arixv研究论文：[https://arxiv.org/pdf/2212.09748.pdf](https://arxiv.org/pdf/2212.09748.pdf)
 * GitHub代码库：[https://github.com/facebookresearch/DiT](https://github.com/facebookresearch/DiT)
 * Hugging Face空间：[https://huggingface.co/spaces/wpeebles/DiT](https://huggingface.co/spaces/wpeebles/DiT)
 * Replicate Demo：[https://replicate.com/arielreplicate/scalable_diffusion_with_transformers](https://replicate.com/arielreplicate/scalable_diffusion_with_transformers)
 * Google Colab运行地址：[https://colab.research.google.com/github/facebookresearch/DiT/blob/main/run_DiT.ipynb](https://colab.research.google.com/github/facebookresearch/DiT/blob/main/run_DiT.ipynb)

## DiT的技术原理

![DiT的技术原理](https://paooo.com/wp-content/uploads/2026/07/dit-methods.avif)

 1.  **数据准备**：
 2.   * 使用一个预训练的变分自编码器（VAE）将输入图像编码成潜在空间的表示。这个潜在
        表示通常是图像的低维表示，例如，将256×256×3的RGB图像编码成32×32×4的潜在向量。
      * 这个潜在表示随后被用作DiT模型的输入。
 3.  **分块化（Patchification）**：
 4.   * 输入的潜在表示首先通过一个称为“patchify”的过程，将其分割成一系列的小片段（patches），
        每个片段对应于Transformer模型的一个输入标记（token）。这个过程类似于将图像分割
        成小块，以便模型可以逐块处理。
      * 每个片段通过线性嵌入转换为一个固定维度的向量，然后添加位置编码（positional 
        embeddings），以便模型能够理解片段在图像中的位置。
 5.  **Transformer Blocks模块**：
 6.   * 输入的标记序列通过一系列的Transformer块进行处理。这些块包括自注意力层、前馈
        神经网络以及层归一化等组件。
      * 在DiT中，研究者们尝试了不同的Transformer块设计，包括自适应层归一化（adaLN）、
        交叉注意力（Cross-Attention）和上下文条件（In-Context Conditioning）等，以处理
        条件信息，如时间步长（timesteps）和类别标签（class labels）。
 7.  **条件扩散过程**：
 8.   * 在训练过程中，DiT模型学习逆向扩散过程，即从噪声数据中恢复出清晰的图像。这个
        过程涉及到预测噪声的统计特性，如均值（mean）和方差（covariance）。
      * 使用变分下界（Variational Lower Bound, VLB）来训练模型，这涉及到最小化预测噪声
        和真实噪声之间的均方误差（MSE）。
 9.  **样本生成**：
 10.  * 在训练完成后，可以通过DiT模型生成新的图像。首先，从标准正态分布中采样一个潜在
        表示，然后通过DiT模型逆向扩散过程，逐步去除噪声，最终解码回像素空间，得到生成
        的图像。
 11. **可扩展性**：
 12.  * DiT模型的可扩展性体现在通过增加Transformer的层数、宽度或输入标记的数量来提高
        模型的计算量（Gflops），从而提高生成图像的质量。这种可扩展性使得DiT模型能够
        在不同的分辨率和复杂度下生成高质量的图像。

DiT模型通过这种方式，利用Transformer的强大表达能力和扩散模型的生成能力，实现了在
图像生成任务中的高效和高质量输出。

## DiT的关键特点

 * **基于Transformer的架构**：DiT采用了Transformer作为其核心架构，这使得模型能够
   处理图像的序列化表示，并通过自注意力机制捕捉图像中的长距离依赖关系。
 * **潜在空间操作**：DiT在潜在空间中训练，这通常比直接在像素空间训练更高效。通过
   使用变分自编码器（VAE）将图像编码到潜在空间，DiT减少了计算复杂度。
 * **可扩展性**：DiT展示了出色的可扩展性，通过增加模型的计算量（以Gflops衡量），
   可以显著提高生成图像的质量。这种可扩展性允许DiT在不同的分辨率和复杂度下生成图像。
 * **条件生成能力**：DiT支持条件生成，能够根据给定的类别标签生成特定类别的图像。
   这种能力使得DiT在特定领域的图像生成任务中非常有用。
 * **自适应层归一化（adaLN）**：DiT使用了自适应层归一化技术，这是一种在Transformer
   块中使用的归一化方法，通过学习来调整层归一化的参数，从而提高模型的表达能力和训练
   效率。
 * **多种Transformer块设计**：DiT探索了不同的Transformer块设计，包括自适应层归一
   化（adaLN）、交叉注意力（Cross-Attention）和上下文条件（In-Context Conditioning），
   以处理条件信息。
 * **高效的训练过程**：DiT在训练过程中表现出高度的稳定性，即使在没有使用学习率预
   热和正则化技术的情况下，也能稳定地训练到高性能。
 * **生成图像的多样性和质量**：DiT能够生成具有高视觉质量和多样性的图像。通过调整
   类条件生成的指导强度，可以在生成图像的清晰度和多样性之间进行权衡。
 * **高计算效率**：在生成图像时，DiT能够在保持高图像质量的同时，实现较高的计算效率。
   这使得DiT在资源有限的环境中也具有吸引力。
 * **应用潜力**：DiT在图像生成领域具有广泛的应用潜力，包括艺术创作、游戏开发、虚拟
   现实、数据增强等，尤其是在需要生成高质量图像的场景中。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)