# DreamOmni – 港中文、字节等机构共同推出的统一图像生成和编辑模型

- Link: https://paooo.com/aigc-news/24664/
- Published: 2026-07-08T21:48:29+08:00
- Author: 站外新闻

## DreamOmni是什么

DreamOmni 是香港中文大学、字节跳动和香港科技大学共同推出的统一图像生成和编辑模型。
模型整合文本到图像（T2I）生成和多种编辑任务，包括指令式编辑、修复、拖拽编辑和参考
图像生成。DreamOmni 基于一个高效的合成数据管道解决高质量编辑数据的创建难题，支持
模型训练和扩展。基于联合训练T2I和编辑任务，强化对概念的理解并提升图像生成质量。在
广泛的实验评估中，DreamOmni 以卓越的性能在图像生成和编辑任务中展现显著的优势。

阅读目录

 * [DreamOmni是什么](https://paooo.com/aigc-news/24664/#dreamomni%e6%98%af%e4%bb%80%e4%b9%88)
 * [DreamOmni的主要功能](https://paooo.com/aigc-news/24664/#dreamomni%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [DreamOmni的技术原理](https://paooo.com/aigc-news/24664/#dreamomni%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [DreamOmni的项目地址](https://paooo.com/aigc-news/24664/#dreamomni%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [DreamOmni的应用场景](https://paooo.com/aigc-news/24664/#dreamomni%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![DreamOmni](https://paooo.com/wp-content/uploads/2026/07/DreamOmni-website-1.avif)

## DreamOmni的主要功能

 * **统一图像生成和编辑**：DreamOmni 能处理从文本到图像的生成（T2I）以及多种图像
   编辑任务，如指令式编辑、修复（如修复和扩展）、拖拽编辑和参考图像生成。
 * **合成数据管道**：用类似贴纸的元素，高效、准确地合成大规模的高质量编辑数据，支持
   统一模型的训练。
 * **联合训练**：结合 T2I 数据和各种编辑任务的数据进行训练，提升模型对特定概念的
   理解，改善生成质量，增强编辑性能。
 * **多任务支持**：模型能理解和执行添加、移除、替换等操作，及处理图像的平移、旋转
   和缩放等编辑任务。

## DreamOmni的技术原理

 * **框架设计**：将 T2I 模型与多种编辑任务整合在一起，实现多任务学习。
 * **视觉-语言模型（VLM）**：基于VLM 统一编码视觉和语言提示，将编码的提示与噪声潜在
   表示结合，实现联合计算。
 * **合成数据生成**：基于合成拼贴数据管道，DreamOmni 能创建精确的编辑数据，支持添加、
   删除、替换操作，及拖拽编辑和参考图像生成。
 * **多模态输入兼容性**：框架设计简单，与多模态输入兼容，使 DreamOmni 能处理复杂
   的提示和图像条件。
 * **训练策略**：DreamOmni 采用分阶段训练策略，从低分辨率到高分辨率逐步训练，优化
   模型性能和训练效率。
 * **优化技术**：使用如 Rectified Flow 等技术优化模型，以线性插值的方式在噪声和数据
   之间进行前向过程，提高生成质量和效率。

## DreamOmni的项目地址

 * **项目官网**：[zj-binxia.github.io/DreamOmni-ProjectPage](https://zj-binxia.github.io/DreamOmni-ProjectPage/?utm_source=ai-bot.cn)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.17098](https://arxiv.org/pdf/2412.17098)

## DreamOmni的应用场景

 * **数字艺术创作**：艺术家和设计师生成或编辑图像，快速将创意概念转化为视觉作品。
 * **游戏开发**：游戏开发者创建游戏资产，如角色、环境和道具，或对现有游戏元素进行
   编辑。
 * **电影和娱乐产业**：在电影制作中生成特效背景或编辑现有的场景图像，节省成本和时间。
 * **广告和营销**：营销人员快速生成吸引人的广告图像和营销材料，适应不同的广告渠道。
 * **教育和培训**：在教育领域，用来创建教学材料，如图解和模拟场景，增强学习体验。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)