# 中科院重磅开源Jodi：一个模型统一图像生成与理解，开启多模态AI新范式

- Link: https://paooo.com/aigc-news/15200/
- Published: 2026-06-30T00:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * Jodi首次在单一模型内统一图像生成、可控生成与图像感知三类任务。
 * 通过联合建模与角色切换机制，模型可同时学习图像及多视觉标签域的分布。
 * 基于Joint-1.6M数据集与线性扩散Transformer，兼顾效率、可扩展性和跨域一致性。

> **💡 站外导读：**在AIGC浪潮中，视觉生成与理解长期被视为两个独立赛道，模型割裂、
> 数据孤岛、协同困难成为行业痛点。中国科学院计算技术研究所与国科大联合推出Jodi，
> 一个颠覆性的统一扩散模型框架。它通过联合建模图像与多个视觉标签域，首次在一个模型
> 内无缝实现联合生成、可控生成与图像感知三大核心任务，为解决多模态任务的碎片化问题
> 提供了全新范式，标志着AI在视觉统一建模上迈出关键一步。

## Jodi是什么

Jodi是中国科学院计算技术研究所和中国科学院大学推出的扩散模型框架，基于联合建模图像
域和多个标签域，将视觉生成与理解统一起来。Jodi基于线性扩散Transformer和角色切换机制，
执行联合生成（同时生成图像和多个标签）、可控生成（基于标签组合生成图像）及图像感知（
从图像预测多个标签）三种任务。Jodi用包含20万张高质量图像和7个视觉域标签的Joint-1.6M
数据集进行训练。Jodi在生成和理解任务中均表现出色，展现强大的可扩展性和跨领域一致性。

阅读目录

 * [Jodi是什么](https://paooo.com/aigc-news/15200/#jodi%e6%98%af%e4%bb%80%e4%b9%88)
 * [Jodi的主要功能](https://paooo.com/aigc-news/15200/#jodi%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Jodi的技术原理](https://paooo.com/aigc-news/15200/#jodi%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Jodi的项目地址](https://paooo.com/aigc-news/15200/#jodi%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Jodi的应用场景](https://paooo.com/aigc-news/15200/#jodi%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/15200/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![Jodi](https://paooo.com/wp-content/uploads/2026/05/Jodi-website-1.avif)

## Jodi的主要功能

 * **联合生成**：同时生成图像和多个标签，例如深度图、法线图、边缘图等，生成的图像
   和标签在语义和空间上保持一致。
 * **可控生成**：根据给定的标签组合生成图像，用户指定某些标签作为条件输入，控制生成
   图像的特定属性或特征。
 * **图像感知**：从给定的图像中同时预测多个标签，实现对图像的多维度理解和分析，例如
   同时进行深度估计、边缘检测、语义分割等任务。

## Jodi的技术原理

 * **联合建模**：基于图像域和多个标签域的联合分布进行建模，基于学习联合分布p(x, 
   y1, y2, …, yM)，推导出生成任务和理解任务所需的边际分布和条件分布。
 * **角色切换机制**：在训练过程中，每个域随机分配三种角色之一，生成目标（[G]）、
   条件输入（[C]）或被忽略（[X]）。模型能同时学习不同类型的概率分布，包括联合生成、
   可控生成和图像感知。
 * **线性扩散Transformer**：用线性扩散Transformer作为主干网络，基于线性注意力机制
   有效降低计算复杂度，让模型能高效地处理多个视觉域。引入了掩码线性注意力和领域不变
   的位置嵌入，增强不同视觉域之间的一致性和对齐。
 * **数据集构建**：为支持多视觉域的联合建模，Jodi构建Joint-1.6M数据集，包含20万张
   高质量图像以及对应的7个视觉域的自动标签，为模型训练提供丰富的数据支持。

## Jodi的项目地址

 * **项目官网**：[https://vipl-genun.github.io/Project-Jodi/](https://vipl-genun.github.io/Project-Jodi/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/VIPL-GENUN/Jodi](https://github.com/VIPL-GENUN/Jodi)
 * **HuggingFace模型库**：[https://huggingface.co/VIPL-GENUN/Jodi](https://huggingface.co/VIPL-GENUN/Jodi)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2505.19084](https://arxiv.org/pdf/2505.19084)

## Jodi的应用场景

 * **创意内容生成**：为艺术家和设计师提供灵感，快速生成具有特定风格或元素的图像。
 * **多模态数据增强**：生成高质量的多模态数据，增强机器学习模型的训练数据集。
 * **图像编辑与修复**：根据用户输入修复或编辑图像，生成缺失部分或调整风格。
 * **视觉理解与分析**：预测多种视觉标签，辅助图像理解任务，如医学图像分析。
 * **虚拟现实与增强现实**：生成逼真的虚拟场景和标注信息，提升VR和AR应用的体验。

#### 📝 站长洞察 (Editor’s Insight)

Jodi的发布，远不止是一个新模型的问世。它精准击中了当前AIGC领域‘生成’与‘理解’二元
割裂的核心矛盾。在行业追求‘世界模型’和‘通用[智能体](https://paooo.com/trends/)’的
大背景下，Jodi通过联合建模与角色切换机制，优雅地实现了多任务、多模态的统一学习，
这预示着AI架构正从‘专用化’向‘通用化’加速演进。其基于线性扩散Transformer的技术路径，
也反映了业界对计算效率与模型可扩展性的极致追求。尽管仍处于学术开源阶段，但其展现
出的跨领域一致性和强大能力，已为未来虚拟内容生成、机器人感知、自动驾驶仿真等应用
描绘了清晰蓝图。这不仅是技术突破，更是一次关于AI如何更高效、更一体化地理解与创造
世界的范式探索。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**中科院 ↗**

中科院：国家最高学术机构，面向AI 综合应用场景提供便捷实用的在线功能支持。

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

Jodi模型主要解决什么问题？

Jodi主要解决视觉生成与理解长期割裂的问题。它把图像生成、可控生成和图像感知统一到
一个扩散模型框架中，减少多模态任务之间的模型碎片化与协同困难。

Jodi支持哪些具体任务？

Jodi支持三类核心任务：联合生成、可控生成和图像感知。它既能同时生成图像与多个视觉
标签，也能根据标签条件生成图像，还能从图像反向预测深度、边缘、语义分割等标签。

Jodi的训练数据和技术亮点是什么？

Jodi使用Joint-1.6M数据集训练，包含20万张高质量图像及7个视觉域标签。技术上采用联合
分布建模、角色切换机制和线性扩散Transformer，以提升多任务统一学习与计算效率。

🔬 语宙深潜追问 · 进阶实操拆解

Jodi 这类统一模型怎么做任务切换？

通常要在同一骨干上加入任务标识、角色切换或条件控制，让模型在生成与理解间切换表征
空间。落地时关键是数据配比、损失权重和推理时的提示约束，否则容易互相干扰。

统一建模最容易踩哪些工程坑？

最大风险是多任务负迁移：生成质量、理解准确率和可控性会互相拉扯。建议先按场景拆分
评测集，做分阶段训练与蒸馏，并保留专用头或路由模块，避免“一把梭”导致整体退化。

🗳️ 读者观点微投票 · 您的实战立场是？

统一生成与理解，真是多模态最优解吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

 * [腾讯清华重磅开源MindOmni：强化学习驱动的多模态推理生成模型，重塑视觉AI边界](https://paooo.com/aigc-news/14749/)
 * [Janus-Pro – DeepSeek 开源的统一多模态模型](https://paooo.com/aigc-news/22550/)
 * [MMaDA – 字节联合普林斯顿大学等推出的多模态扩散模型](https://paooo.com/aigc-news/18719/)
 * [OneDiffusion – 无缝支持双向图像合成和理解的开源扩散模型](https://paooo.com/aigc-news/25280/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/15200/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
