---
title: "WeGen – 中科大联合上海交大等推出的统一多模态生成模型"
url: "https://paooo.com/aigc-news/21312/"
author: "Prompt 语宙研究院"
published_at: "2026-06-08T12:19:50+08:00"
updated_at: "2026-06-08T12:19:50+08:00"
categories: "AIGC 资讯"
tags: "AI绘画提示词, Llama, stable diffusion, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# WeGen – 中科大联合上海交大等推出的统一多模态生成模型

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/21312/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-08

## AI 30 秒核心看点 (TL;DR)

- 统一多模态生成框架：把文生图、编辑、风格迁移等任务整合到一个模型中。
- DIIC 保持实例身份一致，PSR 提升提示多样性，兼顾稳定性与创意输出。
- 适合创意设计、内容创作、教育与个性化定制，作为交互式设计助手潜力突出。

## WeGen是什么

WeGen 是中国科学技术大学联合上海交通大学、微信团队、中国科学院等机构推出的统一多模态生成模型，基于自然对话实现多样化的视觉生成任务。WeGen结合多模态大语言模型（MLLM）和扩散模型，处理文本到图像生成、条件驱动生成、图像编辑、风格迁移等多种任务。WeGen 的核心优势能在用户指令较模糊时提供多样化的创意输出，在用户有具体需求时保持生成结果与指令和参考图像的一致性。WeGen 基于动态实例一致性（DIIC）数据管道和提示自重写（PSR）机制，解决实例身份一致性和生成多样性两大挑战，展现出作为用户友好型设计助手的潜力。

## WeGen的主要功能

- **文本到图像生成**：根据文本描述生成高质量的图像。

- **条件驱动生成**：基于特定条件（如边缘图、深度图、姿态图）生成图像。

- **图像编辑与修复**：对现有图像进行修改、修复或扩展。

- **风格迁移**：将一种图像的风格应用到另一张图像上。

- **多主体生成**：在生成图像时保留多个参考对象的关键特征。

- **交互式生成**：基于自然对话与用户交互，逐步优化生成结果。

- **创意设计辅助**：为用户提供多样化的生成选项，激发创意。

## WeGen的技术原理

- **多模态大语言模型（MLLM）与扩散模型结合**：基于CLIP作为视觉编码器，将图像转化为语义特征；用扩散模型（如SDXL）作为解码器，生成高质量图像。，LLM（如LLaMA）处理自然语言指令，实现文本与视觉信息的融合。

- **动态实例一致性（DIIC）**：用视频序列跟踪对象的自然变化，保持其身份一致性。DIIC数据管道解决传统方法在实例身份保持上的不足，让模型在修改图像时保留关键特征。

- **提示自重写（PSR）机制**：基于语言模型重写文本提示，引入随机性，生成多样化的图像。PSR用离散文本采样，让模型探索不同的解释，保持语义一致性。

- **统一框架与交互式生成**：WeGen将多种视觉生成任务整合到一个框架中，基于自然对话与用户交互，逐步优化生成结果，保留用户满意的部分。

- **大规模数据集支持**：WeGen从互联网视频中提取的大规模数据集进行训练，数据集包含丰富的对象动态和自动标注的描述，帮助模型学习一致性和多样性。

## WeGen的项目地址

- **GitHub仓库**：[https://github.com/hzphzp/WeGen](https://github.com/hzphzp/WeGen)

- **arXiv技术论文**：[https://arxiv.org/pdf/2503.01115](https://arxiv.org/pdf/2503.01115)

## WeGen的应用场景

- **创意设计**：帮助设计师快速生成创意概念图，激发灵感，适用于广告、包装、建筑等领域。

- **内容创作**：为影视、游戏、动漫等行业生成场景、角色或道具的概念图，加速创作流程。

- **教育辅助**：生成与教学内容相关的图像，帮助学生更直观地理解抽象概念。

- **个性化定制**：根据用户需求生成定制化的设计方案，如服装、家居装饰等。

- **虚拟社交与娱乐**：生成虚拟形象、场景或道具，增强虚拟社交和游戏的体验感。

## 常见问题解答 (FAQ)

### WeGen 主要解决什么问题？
WeGen 主要解决统一多模态生成中的两大难点：一是实例身份一致性，二是生成结果的多样性。它通过 DIIC 数据管道和 PSR 机制，让模型在编辑、生成时既能保留关键特征，又能输出更多创意方案。

### WeGen 和普通文生图模型有什么区别？
普通文生图模型通常只聚焦单次文本生成图像，而 WeGen 把文本到图像、条件生成、图像编辑、风格迁移等任务统一到一个框架中，并支持自然对话式交互，适合更复杂的设计工作流。

### WeGen 适合哪些实际应用场景？
WeGen 适合创意设计、影视游戏概念图、教育辅助、个性化定制以及虚拟社交与娱乐等场景。它尤其适合需要多轮交互、保留参考对象特征，同时又希望获得多样化创意结果的任务。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
