# BLIP3-o – Salesforce Research等机构推出的多模态模型

- Link: https://paooo.com/aigc-news/18887/
- Published: 2026-06-08T00:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 融合自回归与扩散模型，兼顾图像理解、指令遵循和高质量生成。
 * 采用 CLIP 语义特征与顺序预训练策略，避免依赖传统 VAE 特征。
 * 完全开源，覆盖代码、权重与数据集，适合图像生成、VQA 和编辑场景。

## BLIP3-o是什么

BLIP3-o是Salesforce Research等机构推出的创新多模态模型，融合自回归模型的推理和指令
遵循能力及扩散模型的强大生成能力。模型基于扩散语义丰富的CLIP图像特征，不依靠传统
的VAE特征或原始像素，在图像理解和生成方面表现出色。BLIP3-o用一种顺序预训练策略，
先进行图像理解训练，再进行图像生成训练，保留图像理解能力发展强大的图像生成能力。
模型在多个图像理解和生成基准测试中取得优异的成绩，且完全开源，包括代码、模型权重、
预训练和指令调整数据集。

阅读目录

 * [BLIP3-o是什么](https://paooo.com/aigc-news/18887/#blip3o%e6%98%af%e4%bb%80%e4%b9%88)
 * [BLIP3-o的主要功能](https://paooo.com/aigc-news/18887/#blip3o%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [BLIP3-o的技术原理](https://paooo.com/aigc-news/18887/#blip3o%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [BLIP3-o的项目地址](https://paooo.com/aigc-news/18887/#blip3o%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [BLIP3-o的应用场景](https://paooo.com/aigc-news/18887/#blip3o%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![BLIP3-o](https://paooo.com/wp-content/uploads/2026/06/BLIP3-o-website-1.avif)

## BLIP3-o的主要功能

 * **文本到文本**：生成与图像相关的描述性文本。
 * **图像到文本**：对输入的图像进行理解生成描述性文本，支持多种图像理解任务，如视觉
   问答（VQA）和图像分类。
 * **文本到图像**：根据输入的文本描述生成高质量的图像。
 * **图像到图像**：对输入的图像进行编辑和修改，生成新的图像。
 * **混合训练**：支持图像生成和理解任务的混合训练，提高模型的综合性能。

## BLIP3-o的技术原理

 * **自回归模型与扩散模型的结合**：自回归模型生成中间视觉特征，捕捉文本描述中的语
   义信息。扩散模型生成最终的图像。扩散模型基于逐步去除噪声生成图像，生成高质量且
   多样化的图像。
 * **CLIP特征扩散**：用CLIP模型对图像进行编码，生成语义丰富的特征向量。特征向量比
   传统的VAE特征更紧凑且信息量更大。基于扩散模型对CLIP特征进行建模，生成与目标图像
   特征相似的特征向量，实现高质量的图像生成。
 * **顺序预训练策略**：首先对模型进行图像理解任务的预训练，确保模型具备强大的图像
   理解能力。在图像理解预训练的基础上，冻结自回归模型的权重，仅对扩散模型进行训练，
   实现高效的图像生成。
 * **流匹配损失函数**：用流匹配损失函数训练扩散模型，损失函数能更好地捕捉图像特征
   的分布，生成更高质量的图像。流匹配损失函数引入随机性，让模型能生成多样化的图像，
   不仅仅是单一的输出。
 * **指令调整数据集**：基于[GPT-4o](https://ai-bot.cn/openai-gpt-4o/)生成的多样化
   提示，创建一个包含60k高质量提示图像对的数据集，用在微调模型，提高指令遵循能力
   和视觉审美质量。

## BLIP3-o的项目地址

 * **GitHub仓库**：[https://github.com/JiuhaiChen/BLIP3o](https://github.com/JiuhaiChen/BLIP3o)
 * **HuggingFace模型库**：[https://huggingface.co/BLIP3o](https://huggingface.co/BLIP3o)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2505.09568](https://arxiv.org/pdf/2505.09568)

## BLIP3-o的应用场景

 * **图像生成与编辑**：根据文本描述生成或修改图像，辅助设计和创意工作。
 * **视觉问答**：理解图像内容并回答相关问题，可用于教育和智能客服。
 * **多模态对话**：结合图像和文本进行对话，提升交互体验。
 * **图像标注与分类**：自动生成图像标签和进行分类，优化图像管理。
 * **艺术与创意**：生成艺术图像，激发创作灵感，满足个性化需求。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

BLIP3-o 和普通文生图模型有什么区别？

BLIP3-o 不只是文生图，它把图像理解和图像生成统一到一个多模态框架中。模型结合自回归
推理与扩散生成，并使用 CLIP 语义特征，既能理解图像，也能生成和编辑图像。

BLIP3-o 为什么强调 CLIP 特征而不是 VAE 特征？

因为 CLIP 特征更偏语义表达，信息更丰富、表示更紧凑，适合做高质量图像生成的中间表征。
文章提到它不依赖传统 VAE 特征或原始像素，而是基于扩散来建模 CLIP 图像特征。

BLIP3-o 适合哪些实际应用场景？

它适合文本到图像生成、图像编辑、视觉问答、多模态对话、图像标注与分类，以及艺术创意
辅助等场景。由于模型开源，也适合研究人员和开发者做二次开发与微调。

🔬 语宙深潜追问 · 进阶实操拆解

CLIP语义特征怎么接入生成链路？

可先用 CLIP 做语义对齐与检索约束，再把图像 token 送入自回归或扩散解码器。关键是把“
理解表示”与“生成噪声”分层，避免端到端直接耦合导致语义漂移。

自回归+扩散混合训练难点在哪？

难点在目标冲突与采样节奏不一致。实操上通常先分阶段预训练，再做联合微调，并用损失
权重、冻结部分模块和统一 token 空间来稳定收敛。

🗳️ 读者观点微投票 · 您的实战立场是？

多模态模型该优先做理解还是生成？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [GLM-4-32B – 智谱开源的新一代基座模型](https://paooo.com/aigc-news/20322/)
 * [T2I-R1 – 港中文联合上海AI Lab推出文生图模型](https://paooo.com/aigc-news/20040/)
 * [MiniCPM-V – 面壁智能推出的开源多模态大模型](https://paooo.com/aigc-news/27580/)
 * [上海AI Lab开源InternVL-U：4B参数轻量化多模态模型，实现理解-推理-生成-编辑端到端闭环](https://paooo.com/ai-tool/11292/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/18887/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
