---
title: "D-Edit – 基于图像、文本、掩码的多功能图像编辑框架"
url: "https://paooo.com/aigc-news/25978/"
author: "Prompt 语宙研究院"
published_at: "2026-07-17T11:18:29+08:00"
updated_at: "2026-07-17T11:18:29+08:00"
categories: "AIGC 资讯"
tags: "AI绘画提示词, HuggingFace, stable diffusion, 大模型微调, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# D-Edit – 基于图像、文本、掩码的多功能图像编辑框架

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/25978/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-17

## AI 30 秒核心看点 (TL;DR)

- 首个将图像、文本与掩码统一到同一框架的项目级编辑方案，支持精确控制单个元素。
- 通过解耦交叉注意力和项目提示交互，实现文本替换、参考图像编辑、掩码改形与移除。
- 两步优化先注入新 tokens，再微调编码器与 UNet，提升项目与提示的绑定精度。

## D-Edit是什么

D-Edit是基于图像和文本的多功能图像编辑框架，基于预训练的扩散模型和独特的提示（prompts）实现对图像中特定项目的精确控制和编辑。框架能处理包括基于图像的编辑、基于文本的编辑、基于掩码的编辑及项目移除等多种编辑任务。D-Edit将图像分割成多个项目，为每个项目关联一个独特的提示，实现对项目的解耦控制。用户基于修改提示、掩码或项目与提示之间的关联来实现多样化的编辑效果。D-Edit是首个能基于掩码编辑实现项目编辑，能结合图像和文本编辑的框架。

## D-Edit的主要功能

- **基于文本的编辑**：用户改变与特定项目关联的文本提示替换或编辑图像中的项目。

- **基于图像的编辑**：支持用户用参考图像中的项目替换目标图像中的项目。

- **基于掩码的编辑**：用户能编辑图像中特定项目的掩码，包括移动、调整大小、改变形状等，改变项目的外观。

- **项目移除**：基于删除与项目相关的掩码和提示对，从图像中移除特定项目，让周围区域自然填补空白。

- **多功能图像编辑**：在统一的框架内实现上述编辑功能，提供灵活且多样化的图像编辑能力。

## D-Edit的技术原理

- **项目提示交互**：D-Edit将图像分解为多个项目，为每个项目分配一个独特的提示，提示在预训练的扩散模型中被特别学习控制特定项目。

- **解耦的交叉注意力层**：D-Edit引入解耦的交叉注意力机制，支持模型将每个项目的控制流与对应的提示分开处理，实现精确的项目级编辑。

- **两步优化过程**：

**提示注入**：将代表每个项目的新的标记（tokens）注入到文本编码器的词汇表中，随机初始化标记的嵌入。

- **模型微调**：优化文本编码器的嵌入矩阵和UNet模型的权重建立项目与提示之间的关联，让模型能用给定的项目提示重建原始图像。

- **编辑操作的自由度**：在建立项目与提示的关联之后，D-Edit支持改变提示、掩码或项目与提示之间的映射实现各种编辑操作。

- **灵活性和控制力**：D-Edit的设计提供在编辑过程中对特定项目进行精确控制的能力，且保持对整体图像的自然和谐感。基于调整提示和掩码，用户能实现从细微调整到完全替换的各种编辑效果。

## D-Edit的项目地址

- **GitHub仓库**：[https://github.com/collovlabs/d-edit](https://github.com/collovlabs/d-edit)

- **arXiv技术论文**：[https://arxiv.org/pdf/2403.04880](https://arxiv.org/pdf/2403.04880)

- **在线体验Demo**：[https://huggingface.co/spaces/Collov-Labs/d-edit](https://huggingface.co/spaces/Collov-Labs/d-edit)

## D-Edit的应用场景

- **数字艺术创作**：艺术家和设计师创作新的数字艺术作品，用编辑图像中的特定元素实现独特的视觉效果。

- **照片编辑**：普通用户对个人照片进行编辑，比如更换背景、调整人物姿势、改变服装样式等。

- **广告和营销**：营销人员更改广告图像中的特定元素，如产品、标志或文本，适应不同的营销活动。

- **时尚和服装**：时尚设计师展示服装设计的不同版本，基于改变服装的颜色、纹理或款式探索不同的设计可能性。

- **建筑和城市规划**：建筑师和城市规划者编辑建筑设计图像，调整建筑外观或城市规划布局。

## 常见问题解答 (FAQ)

### D-Edit支持哪些图像编辑方式？
D-Edit 支持基于文本的编辑、基于图像的编辑、基于掩码的编辑以及项目移除等任务。它把图像拆成多个项目，并为每个项目绑定独立提示，从而实现更细粒度的控制。

### D-Edit为什么适合项目级编辑？
因为它将图像中的每个项目与独特提示关联，并通过解耦的交叉注意力机制分别处理控制流。这样可以对单个对象进行替换、移动、改形或删除，而不明显破坏整体画面。

### D-Edit的技术核心是什么？
核心是两步优化：先向文本编码器注入代表项目的新 tokens，再微调文本编码器嵌入矩阵和 UNet 权重，建立项目与提示之间的稳定关联，进而支持多种编辑操作。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
