# WeGen – 中科大联合上海交大等推出的统一多模态生成模型

- Link: https://paooo.com/aigc-news/21312/
- Published: 2026-06-08T12:19:50+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 统一多模态生成框架：把文生图、编辑、风格迁移等任务整合到一个模型中。
 * DIIC 保持实例身份一致，PSR 提升提示多样性，兼顾稳定性与创意输出。
 * 适合创意设计、内容创作、教育与个性化定制，作为交互式设计助手潜力突出。

## WeGen是什么

WeGen 是中国科学技术大学联合上海交通大学、微信团队、中国科学院等机构推出的统一多
模态生成模型，基于自然对话实现多样化的视觉生成任务。WeGen结合多模态大语言模型（MLLM）
和扩散模型，处理文本到图像生成、条件驱动生成、图像编辑、风格迁移等多种任务。WeGen
的核心优势能在用户指令较模糊时提供多样化的创意输出，在用户有具体需求时保持生成结果
与指令和参考图像的一致性。WeGen 基于动态实例一致性（DIIC）数据管道和提示自重写（
PSR）机制，解决实例身份一致性和生成多样性两大挑战，展现出作为用户友好型设计助手的
潜力。

阅读目录

 * [WeGen是什么](https://paooo.com/aigc-news/21312/#wegen%e6%98%af%e4%bb%80%e4%b9%88)
 * [WeGen的主要功能](https://paooo.com/aigc-news/21312/#wegen%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [WeGen的技术原理](https://paooo.com/aigc-news/21312/#wegen%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [WeGen的项目地址](https://paooo.com/aigc-news/21312/#wegen%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [WeGen的应用场景](https://paooo.com/aigc-news/21312/#wegen%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![WeGen](https://paooo.com/wp-content/uploads/2026/06/WeGen-website-1.avif)

## WeGen的主要功能

 * **文本到图像生成**：根据文本描述生成高质量的图像。
 * **条件驱动生成**：基于特定条件（如边缘图、深度图、姿态图）生成图像。
 * **图像编辑与修复**：对现有图像进行修改、修复或扩展。
 * **风格迁移**：将一种图像的风格应用到另一张图像上。
 * **多主体生成**：在生成图像时保留多个参考对象的关键特征。
 * **交互式生成**：基于自然对话与用户交互，逐步优化生成结果。
 * **创意设计辅助**：为用户提供多样化的生成选项，激发创意。

## WeGen的技术原理

 * **多模态大语言模型（MLLM）与扩散模型结合**：基于CLIP作为视觉编码器，将图像转化
   为语义特征；用扩散模型（如SDXL）作为解码器，生成高质量图像。，LLM（如LLaMA）处理
   自然语言指令，实现文本与视觉信息的融合。
 * **动态实例一致性（DIIC）**：用视频序列跟踪对象的自然变化，保持其身份一致性。DIIC
   数据管道解决传统方法在实例身份保持上的不足，让模型在修改图像时保留关键特征。
 * **提示自重写（PSR）机制**：基于语言模型重写文本提示，引入随机性，生成多样化的
   图像。PSR用离散文本采样，让模型探索不同的解释，保持语义一致性。
 * **统一框架与交互式生成**：WeGen将多种视觉生成任务整合到一个框架中，基于自然对话
   与用户交互，逐步优化生成结果，保留用户满意的部分。
 * **大规模数据集支持**：WeGen从互联网视频中提取的大规模数据集进行训练，数据集包含
   丰富的对象动态和自动标注的描述，帮助模型学习一致性和多样性。

## WeGen的项目地址

 * **GitHub仓库**：[https://github.com/hzphzp/WeGen](https://github.com/hzphzp/WeGen)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2503.01115](https://arxiv.org/pdf/2503.01115)

## WeGen的应用场景

 * **创意设计**：帮助设计师快速生成创意概念图，激发灵感，适用于广告、包装、建筑等
   领域。
 * **内容创作**：为影视、游戏、动漫等行业生成场景、角色或道具的概念图，加速创作流程。
 * **教育辅助**：生成与教学内容相关的图像，帮助学生更直观地理解抽象概念。
 * **个性化定制**：根据用户需求生成定制化的设计方案，如服装、家居装饰等。
 * **虚拟社交与娱乐**：生成虚拟形象、场景或道具，增强虚拟社交和游戏的体验感。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**LLaMA ↗**

Meta（Facebook）推出的AI大语言模型。

**LLaMA ↗**

在线AI大模型微调平台，零代码、可视化操作。

❓ 常见问题解答（FAQ）

WeGen 主要解决什么问题？

WeGen 主要解决统一多模态生成中的两大难点：一是实例身份一致性，二是生成结果的多样
性。它通过 DIIC 数据管道和 PSR 机制，让模型在编辑、生成时既能保留关键特征，又能输出
更多创意方案。

WeGen 和普通文生图模型有什么区别？

普通文生图模型通常只聚焦单次文本生成图像，而 WeGen 把文本到图像、条件生成、图像编辑、
风格迁移等任务统一到一个框架中，并支持自然对话式交互，适合更复杂的设计工作流。

WeGen 适合哪些实际应用场景？

WeGen 适合创意设计、影视游戏概念图、教育辅助、个性化定制以及虚拟社交与娱乐等场景。
它尤其适合需要多轮交互、保留参考对象特征，同时又希望获得多样化创意结果的任务。

🔬 语宙深潜追问 · 进阶实操拆解

DIIC和PSR该怎么配合调参？

实战里通常先用 DIIC 锁定主体身份与结构，再用 PSR 拉开风格和细节变化。若人物脸部漂移，
优先提高身份约束；若画面过于保守，则适度放松结构约束并增加采样多样性。

多主体生成如何避免互相串脸？

先为每个主体建立独立身份锚点，再在布局阶段固定相对位置和交互关系。生成时尽量把“谁是
谁”与“做什么”分开控制，必要时分两阶段出图：先定构图，再做局部编辑。

🗳️ 读者观点微投票 · 您的实战立场是？

统一多模态生成，最难的是一致性还是创意？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [Nexus-Gen – 魔搭联合华东师范等机构开源的全模态图像生成模型](https://paooo.com/aigc-news/18978/)
 * [OmniGen2开源多模态生成模型：文本生图、图像编辑全能，智源研究院引领AIGC新范式](https://paooo.com/aigc-news/14599/)
 * [MMaDA – 字节联合普林斯顿大学等推出的多模态扩散模型](https://paooo.com/aigc-news/18719/)
 * [DiffusionGPT – 开源的大模型驱动的文本到图像生成系统](https://paooo.com/aigc-news/28365/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21312/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
