# DiffBrush – 北邮联合清华等机构推出的图像生成与编辑框架

- Link: https://paooo.com/aigc-news/21309/
- Published: 2026-06-08T11:49:50+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 无需训练即可用手绘草图控制生成结果，直接降低文本提示依赖与上手门槛。
 * 通过颜色引导、实例/语义引导和潜在空间再生，实现更精准的图像生成与编辑。
 * 兼容[Stable Diffusion](https://paooo.com/tag/stable-diffusion/)、SDXL、Flux等
   T2I模型，并可结合LoRA做风格化输出。

## DiffBrush是什么

DiffBrush是北京邮电大学、清华大学、中国电信人工智能研究所和西北工业大学推出的，无
需训练的[图像生成](https://ai-bot.cn/best-ai-painting-tools/)与编辑框架，支持用户
基于手绘草图直观地控制图像生成。DiffBrush用预训练的文本到图像（T2I）模型，基于颜色
引导、实例与语义引导及潜在空间再生等技术，精准控制生成图像的颜色、语义和实例分布。
DiffBrush兼容多种T2I模型（如[Stable Diffusion](https://ai-bot.cn/sites/123.html)、
SDXL等），支持LoRA风格调整，用户在画布上简单绘制实例的轮廓和颜色，能生成符合需求
的图像。DiffBrush解决了传统T2I模型依赖文本提示的局限性，降低AI绘画的门槛，为用户
提供更直观、高效的创作方式。

阅读目录

 * [DiffBrush是什么](https://paooo.com/aigc-news/21309/#diffbrush%e6%98%af%e4%bb%80%e4%b9%88)
 * [DiffBrush的主要功能](https://paooo.com/aigc-news/21309/#diffbrush%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [DiffBrush的技术原理](https://paooo.com/aigc-news/21309/#diffbrush%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [DiffBrush的项目地址](https://paooo.com/aigc-news/21309/#diffbrush%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [DiffBrush的应用场景](https://paooo.com/aigc-news/21309/#diffbrush%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![DiffBrush](https://paooo.com/wp-content/uploads/2026/06/DiffBrush-website-1.avif)

## DiffBrush的主要功能

 * **用户友好的图像生成**：用户用手绘草图控制生成图像的内容，无需复杂的文本提示或
   技术知识。
 * **颜色控制**：根据用户绘制的颜色信息，精确控制生成图像中对应区域的颜色。
 * **实例与语义控制**：绘制实例的轮廓和标注语义信息，控制生成图像中特定对象的位置
   和语义属性。
 * **图像编辑**：在已有图像的基础上进行编辑，例如添加、修改或替换图像中的对象。
 * **风格化生成**：支持与LoRA（Low-Rank Adaptation）风格调整结合，生成具有不同艺术
   风格的图像，如油画、国画等。
 * **多模型兼容**：与多种T2I模型（如Stable Diffusion、SDXL、Flux等）兼容，具有广泛
   的适用性。

## DiffBrush的技术原理

 * **扩散模型的引导机制**：基于预训练的T2I模型（如Stable Diffusion）的扩散过程。
   扩散模型逐步去噪，将随机噪声映射为真实图像。DiffBrush修改扩散过程中的去噪方向，
   引导生成的图像向用户手绘的草图靠拢。
 * **颜色引导**：基于扩散模型的潜在空间（latent space）与颜色空间的高度相似性，调整
   潜在空间中的特征，实现对生成图像颜色的精确控制。用户绘制的颜色信息被编码到潜在
   空间中，用能量函数（如MSE损失）引导生成图像的颜色与用户需求一致。
 * **实例与语义引导**：基于扩散模型中的注意力机制（如交叉注意力和自注意力）实现实例
   和语义的控制。用户绘制的实例轮廓被用作注意力图的监督目标，基于调整注意力图的分布，
   确保生成图像中对象的位置和语义与用户需求一致。
 * **潜在空间再生**：基于迭代优化初始噪声分布，接近用户手绘草图的目标分布，在扩散
   过程的早期阶段调整潜在空间，进一步优化生成图像的质量。
 * **用户交互与兼容性**：将用户的手绘草图与文本提示相结合，用简单的用户界面实现直观
   的交互。DiffBrush支持多种预训练的T2I模型，用户根据需要调整引导强度等超参数，实现
   最佳生成效果。

## DiffBrush的项目地址

 * **arXiv技术论文**：[https://arxiv.org/pdf/2502.20904](https://arxiv.org/pdf/2502.20904)

## DiffBrush的应用场景

 * **创意绘画**：艺术家和设计师快速将手绘创意转化为高质量图像，支持多种风格，方便
   实现艺术构思。
 * **图像编辑**：在已有图片上添加、替换或修改内容，用简单手绘完成操作，适合普通用户
   和设计师。
 * **教育工具**：用在艺术和设计教学，帮助学生通过手绘理解色彩、构图和创意表达。
 * **游戏设计**：快速生成游戏场景、角色或动画草图，支持风格化输出，助力创意迭代。
 * **广告设计**：根据创意草图快速生成广告图像，满足客户对色彩和布局的要求，提升设计
   效率。

❓ 常见问题解答（FAQ）

DiffBrush适合哪些图像生成场景？

DiffBrush适合创意绘画、图像编辑、教育教学、游戏设计和广告设计等场景。用户可用手绘
草图直接控制对象位置、颜色和语义，快速把构思转成可用图像，尤其适合不擅长写复杂提示
词的人。

DiffBrush和普通文生图有什么区别？

普通文生图主要依赖文本提示词，而DiffBrush更强调草图交互。它能通过轮廓、颜色和语义
标注来约束生成过程，因此在对象布局、颜色控制和编辑可控性上更直观，也更适合精细化
创作。

DiffBrush支持哪些基础模型？

文中提到DiffBrush兼容多种预训练T2I模型，包括Stable Diffusion、SDXL和Flux等，并支持
LoRA风格调整。也就是说，它不是单一模型，而是可接入不同底座进行图像生成与编辑。

🔬 语宙深潜追问 · 进阶实操拆解

如何把草图控制稳定接入现有SD工作流？

先把草图拆成边缘、区域和语义三层约束，再分别映射到 ControlNet、分区提示词和参考图。
生产里建议保留人工遮罩与局部重绘兜底，避免一次性全图生成导致构图漂移。

多模型兼容时怎样避免风格失控？

同一套草图在不同底模上要固定分辨率、采样器和提示词模板，只替换模型权重。再用少量
风格锚点图做对齐测试，优先校准颜色和主体比例，最后再调细节纹理。

🗳️ 读者观点微投票 · 您的实战立场是？

无训练草图控图，真能替代传统修图流程吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🎨 所属权威专题：Midjourney & Flux 咒语库 →](https://paooo.com/topics/midjourney-flux-prompts/)

 * [SwiftBrush V2 – 文本到图像的单步扩散模型，性能与多步模型相媲美](https://paooo.com/aigc-news/26841/)
 * [StreamMultiDiffusion – 实时生成和编辑图像的交互式框架](https://paooo.com/aigc-news/28068/)
 * [TextDiffuser-2 – 微软等推出的AI图像文本渲染融合框架](https://paooo.com/aigc-news/28143/)
 * [ScribbleDiff – 开源的涂鸦内容转换成图像的生成技术](https://paooo.com/aigc-news/26475/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21309/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
