Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 中科院重磅开源Jodi:一个模型统一图像生成与理解,开启多模态AI新范式
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
中科院重磅开源Jodi:一个模型统一图像生成与理解,开启多模态AI新范式
Prompt 语宙 > AI 工具 > 中科院重磅开源Jodi:一个模型统一图像生成与理解,开启多模态AI新范式
AI 工具AIGC 资讯

中科院重磅开源Jodi:一个模型统一图像生成与理解,开启多模态AI新范式

Prompt 语宙研究院
最近更新: 2026年6月7日 下午8:28
AIGC 中国科学院 图像生成 多模态AI 扩散模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • Jodi首次在单一模型内统一图像生成、可控生成与图像感知三类任务。
  • 通过联合建模与角色切换机制,模型可同时学习图像及多视觉标签域的分布。
  • 基于Joint-1.6M数据集与线性扩散Transformer,兼顾效率、可扩展性和跨域一致性。

💡 站外导读:在AIGC浪潮中,视觉生成与理解长期被视为两个独立赛道,模型割裂、数据孤岛、协同困难成为行业痛点。中国科学院计算技术研究所与国科大联合推出Jodi,一个颠覆性的统一扩散模型框架。它通过联合建模图像与多个视觉标签域,首次在一个模型内无缝实现联合生成、可控生成与图像感知三大核心任务,为解决多模态任务的碎片化问题提供了全新范式,标志着AI在视觉统一建模上迈出关键一步。

Jodi是什么

Jodi是中国科学院计算技术研究所和中国科学院大学推出的扩散模型框架,基于联合建模图像域和多个标签域,将视觉生成与理解统一起来。Jodi基于线性扩散Transformer和角色切换机制,执行联合生成(同时生成图像和多个标签)、可控生成(基于标签组合生成图像)及图像感知(从图像预测多个标签)三种任务。Jodi用包含20万张高质量图像和7个视觉域标签的Joint-1.6M数据集进行训练。Jodi在生成和理解任务中均表现出色,展现强大的可扩展性和跨领域一致性。

阅读目录
  • Jodi是什么
  • Jodi的主要功能
  • Jodi的技术原理
  • Jodi的项目地址
  • Jodi的应用场景
      • 📝 站长洞察 (Editor’s Insight)

Jodi

Jodi的主要功能

  • 联合生成:同时生成图像和多个标签,例如深度图、法线图、边缘图等,生成的图像和标签在语义和空间上保持一致。
  • 可控生成:根据给定的标签组合生成图像,用户指定某些标签作为条件输入,控制生成图像的特定属性或特征。
  • 图像感知:从给定的图像中同时预测多个标签,实现对图像的多维度理解和分析,例如同时进行深度估计、边缘检测、语义分割等任务。

Jodi的技术原理

  • 联合建模:基于图像域和多个标签域的联合分布进行建模,基于学习联合分布p(x, y1, y2, …, yM),推导出生成任务和理解任务所需的边际分布和条件分布。
  • 角色切换机制:在训练过程中,每个域随机分配三种角色之一,生成目标([G])、条件输入([C])或被忽略([X])。模型能同时学习不同类型的概率分布,包括联合生成、可控生成和图像感知。
  • 线性扩散Transformer:用线性扩散Transformer作为主干网络,基于线性注意力机制有效降低计算复杂度,让模型能高效地处理多个视觉域。引入了掩码线性注意力和领域不变的位置嵌入,增强不同视觉域之间的一致性和对齐。
  • 数据集构建:为支持多视觉域的联合建模,Jodi构建Joint-1.6M数据集,包含20万张高质量图像以及对应的7个视觉域的自动标签,为模型训练提供丰富的数据支持。

Jodi的项目地址

  • 项目官网:https://vipl-genun.github.io/Project-Jodi/
  • GitHub仓库:https://github.com/VIPL-GENUN/Jodi
  • HuggingFace模型库:https://huggingface.co/VIPL-GENUN/Jodi
  • arXiv技术论文:https://arxiv.org/pdf/2505.19084

Jodi的应用场景

  • 创意内容生成:为艺术家和设计师提供灵感,快速生成具有特定风格或元素的图像。
  • 多模态数据增强:生成高质量的多模态数据,增强机器学习模型的训练数据集。
  • 图像编辑与修复:根据用户输入修复或编辑图像,生成缺失部分或调整风格。
  • 视觉理解与分析:预测多种视觉标签,辅助图像理解任务,如医学图像分析。
  • 虚拟现实与增强现实:生成逼真的虚拟场景和标注信息,提升VR和AR应用的体验。

📝 站长洞察 (Editor’s Insight)

Jodi的发布,远不止是一个新模型的问世。它精准击中了当前AIGC领域‘生成’与‘理解’二元割裂的核心矛盾。在行业追求‘世界模型’和‘通用智能体’的大背景下,Jodi通过联合建模与角色切换机制,优雅地实现了多任务、多模态的统一学习,这预示着AI架构正从‘专用化’向‘通用化’加速演进。其基于线性扩散Transformer的技术路径,也反映了业界对计算效率与模型可扩展性的极致追求。尽管仍处于学术开源阶段,但其展现出的跨领域一致性和强大能力,已为未来虚拟内容生成、机器人感知、自动驾驶仿真等应用描绘了清晰蓝图。这不仅是技术突破,更是一次关于AI如何更高效、更一体化地理解与创造世界的范式探索。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
中科院 ↗
中科院:国家最高学术机构,面向AI 综合应用场景提供便捷实用的在线功能支持。
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
Jodi模型主要解决什么问题?

Jodi主要解决视觉生成与理解长期割裂的问题。它把图像生成、可控生成和图像感知统一到一个扩散模型框架中,减少多模态任务之间的模型碎片化与协同困难。

Jodi支持哪些具体任务?

Jodi支持三类核心任务:联合生成、可控生成和图像感知。它既能同时生成图像与多个视觉标签,也能根据标签条件生成图像,还能从图像反向预测深度、边缘、语义分割等标签。

Jodi的训练数据和技术亮点是什么?

Jodi使用Joint-1.6M数据集训练,包含20万张高质量图像及7个视觉域标签。技术上采用联合分布建模、角色切换机制和线性扩散Transformer,以提升多任务统一学习与计算效率。

🔬 语宙深潜追问 · 进阶实操拆解
Jodi 这类统一模型怎么做任务切换?

通常要在同一骨干上加入任务标识、角色切换或条件控制,让模型在生成与理解间切换表征空间。落地时关键是数据配比、损失权重和推理时的提示约束,否则容易互相干扰。

统一建模最容易踩哪些工程坑?

最大风险是多任务负迁移:生成质量、理解准确率和可控性会互相拉扯。建议先按场景拆分评测集,做分阶段训练与蒸馏,并保留专用头或路由模块,避免“一把梭”导致整体退化。

🗳️ 读者观点微投票 · 您的实战立场是?
统一生成与理解,真是多模态最优解吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
  • 腾讯清华重磅开源MindOmni:强化学习驱动的多模态推理生成模型,重塑视觉AI边界
  • Janus-Pro – DeepSeek 开源的统一多模态模型
  • MMaDA – 字节联合普林斯顿大学等推出的多模态扩散模型
  • OneDiffusion – 无缝支持双向图像合成和理解的开源扩散模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
击穿从自然语言推荐到线下交易的最后一公里!豆包App上线“找店”地图闭环:团购下单与一键导航收拢于单一对话、字节本地生活生态深度拆解
昆仑万维开源Skywork UniPic 2.0:2B参数统一多模态模型,生图、编辑、理解一网打尽
Metaphysic AI
DataChef – 上海AI Lab联合复旦开源的AI数据配方生成模型
StreamMultiDiffusion – 实时生成和编辑图像的交互式框架
TAGGED:AIGC中国科学院图像生成多模态AI扩散模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 HunyuanPortrait:腾讯清华联手打造下一代肖像动画引擎,单图驱动视频生成新突破 HunyuanPortrait:腾讯清华联手打造下一代肖像动画引擎,单图驱动视频生成新突破
下一篇 腾讯混元HunyuanVideo-Avatar:AI语音数字人技术革新,多角色情感对话视频一键生成 腾讯混元HunyuanVideo-Avatar:AI语音数字人技术革新,多角色情感对话视频一键生成
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

Octane AI
AI 工具

Octane AI

remaker
AI办公效率 AI智能体
全场唯一图文一致性满分且力压 GPT 旗舰!国产文生图模型 ArtArk 登顶 SuperCLUE 榜首:95.14分综合成绩打破海外垄断全景实测深度拆解
AI 工具

全场唯一图文一致性满分且力压 GPT 旗舰!国产文生图模型 ArtArk 登顶 SuperCLUE 榜首:95.14分综合成绩打破海外垄断全景实测深度拆解

Prompt 语宙研究院
AIGC ArtArk GPT Image 2.5 SuperCLUE 图像生成 文生图
YuE – 港科大联合 M-A-P 推出的开源AI音乐生成模型
AIGC 资讯

YuE – 港科大联合 M-A-P 推出的开源AI音乐生成模型

Prompt 语宙研究院
AI音频与语音 HuggingFace Llama TikTok 开源大模型
Mini-o3开源:字节+港大联手,视觉推理模型实现数十轮深度交互
AI 工具AIGC 资讯

Mini-o3开源:字节+港大联手,视觉推理模型实现数十轮深度交互

Prompt 语宙研究院
多轮交互 字节跳动 开源模型 强化学习 视觉推理模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.