---
title: "D-DiT – 耶鲁大学联合字节Seed等机构推出的多模态扩散模型"
url: "https://paooo.com/aigc-news/19996/"
author: "Prompt 语宙研究院"
published_at: "2026-06-08T15:59:37+08:00"
updated_at: "2026-06-08T15:59:37+08:00"
categories: "AIGC 资讯"
tags: "AI智能体, AI绘画提示词, stable diffusion, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# D-DiT – 耶鲁大学联合字节Seed等机构推出的多模态扩散模型

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/19996/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-08

## AI 30 秒核心看点 (TL;DR)

- 将连续图像扩散与离散文本扩散统一训练，打通文生图与图生文双向能力。
- 采用双向注意力机制与联合扩散目标，提升图像、文本协同建模效果。
- 适用于视觉问答、图像描述、多模态对话与图像编辑等场景。

## D-DiT是什么

D-DiT（Dual Diffusion Transformer）是卡内基梅隆大学、耶鲁大学和字节跳动Seed实验室推出的多模态扩散模型，能统一图像生成和理解任务。模型结合连续图像扩散（流匹配）和离散文本扩散（掩码扩散），基于双向注意力机制同时训练图像和文本模态。D-DiT能实现文本到图像生成和图像到文本生成的双向任务，支持视觉问答、图像描述生成等多种应用。模型基于多模态扩散Transformer架构，联合扩散目标训练，展现出与自回归模型相媲美的多模态理解和生成能力，为视觉语言模型的发展提供新的方向。

## D-DiT的主要功能

- **文本到图像生成**：根据输入的文本描述生成高质量的图像。

- **图像到文本生成**：根据输入的图像生成描述性文本，如图像描述、标题或视觉问答的答案。

- **视觉问答**：结合图像和问题文本，生成准确的答案。

- **多模态理解**：支持多种视觉语言任务，如图像描述、视觉指令理解和长文本生成。

- **双向生成能力**：同时支持从文本到图像和从图像到文本的生成任务，具有高度的灵活性。

## D-DiT的技术原理

- **双分支扩散模型**：D-DiT结合连续图像扩散（Continuous Image Diffusion）和离散文本扩散（Discrete Text Diffusion）。连续图像扩散用流匹配（Flow Matching）技术，用逆向扩散过程生成图像。离散文本扩散用掩码扩散（Masked Diffusion）技术，逐步去噪生成文本。

- **多模态Transformer架构**：

**图像分支**：处理图像数据，输出图像的扩散目标。

- **文本分支**：处理文本数据，输出文本的扩散目标。

- **联合训练目标**：基于一个联合扩散目标同时训练图像和文本模态，图像扩散损失基于流匹配损失，优化图像生成的逆向扩散过程。文本扩散损失基于掩码扩散损失，优化文本生成的逆向扩散过程。基于联合训练，模型能学习图像和文本之间的联合分布。

- **双向注意力机制**：D-DiT用双向注意力机制，支持模型在图像和文本之间灵活切换，支持无序处理输入模态。让模型在生成过程中充分利用图像和文本的信息，提升多模态任务的性能。

## D-DiT的项目地址

- **项目官网**：[https://zijieli-jlee.github.io/dualdiff.github.io/](https://zijieli-jlee.github.io/dualdiff.github.io/?utm_source=ai-bot.cn)

- **GitHub仓库**：[https://github.com/zijieli-Jlee/Dual-Diffusion](https://github.com/zijieli-Jlee/Dual-Diffusion)

- **arXiv技术论文**：[https://arxiv.org/pdf/2501.00289](https://arxiv.org/pdf/2501.00289)

## D-DiT的应用场景

- **文本到图像生成**：根据文本描述生成高质量图像，适用创意设计、游戏开发、广告制作和教育领域。

- **图像到文本生成**：为图像生成描述性文本，辅助视障人士、内容推荐、智能相册等。

- **视觉问答**：结合图像和问题生成准确答案，用在智能助手、教育工具和客服支持。

- **多模态对话系统**：在对话中结合图像生成详细回答，适用智能客服、虚拟助手和教育辅导。

- **图像编辑与增强**：根据文本描述修复、转换或增强图像，用在图像修复、风格转换和图像增强。

## 常见问题解答 (FAQ)

### D-DiT支持哪些多模态任务？
D-DiT可同时处理文本到图像生成、图像到文本生成、视觉问答和多模态理解任务。它通过统一的扩散框架学习图像与文本的联合分布，因此既能生成图像，也能输出描述、标题或问答答案。

### D-DiT和普通扩散模型有什么区别？
普通扩散模型通常只聚焦图像生成，而D-DiT把连续图像扩散和离散文本扩散放进同一模型中联合训练，并引入双向注意力机制，因此能同时覆盖生成与理解两类任务。

### D-DiT适合哪些应用场景？
D-DiT适合创意设计、游戏开发、广告制作、智能相册、视障辅助、教育问答、智能客服和图像编辑增强等场景，尤其适合需要图文双向交互的多模态应用。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
