---
title: "BLIP3-o – Salesforce Research等机构推出的多模态模型"
url: "https://paooo.com/aigc-news/18887/"
author: "Prompt 语宙研究院"
published_at: "2026-06-08T00:12:22+08:00"
updated_at: "2026-06-07T20:02:33+08:00"
categories: "AIGC 资讯"
tags: "AI绘画提示词, ChatGPT, HuggingFace, 大模型微调, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# BLIP3-o – Salesforce Research等机构推出的多模态模型

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/18887/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-08

## AI 30 秒核心看点 (TL;DR)

- 融合自回归与扩散模型，兼顾图像理解、指令遵循和高质量生成。
- 采用 CLIP 语义特征与顺序预训练策略，避免依赖传统 VAE 特征。
- 完全开源，覆盖代码、权重与数据集，适合图像生成、VQA 和编辑场景。

## BLIP3-o是什么

BLIP3-o是Salesforce Research等机构推出的创新多模态模型，融合自回归模型的推理和指令遵循能力及扩散模型的强大生成能力。模型基于扩散语义丰富的CLIP图像特征，不依靠传统的VAE特征或原始像素，在图像理解和生成方面表现出色。BLIP3-o用一种顺序预训练策略，先进行图像理解训练，再进行图像生成训练，保留图像理解能力发展强大的图像生成能力。模型在多个图像理解和生成基准测试中取得优异的成绩，且完全开源，包括代码、模型权重、预训练和指令调整数据集。

## BLIP3-o的主要功能

- **文本到文本**：生成与图像相关的描述性文本。

- **图像到文本**：对输入的图像进行理解生成描述性文本，支持多种图像理解任务，如视觉问答（VQA）和图像分类。

- **文本到图像**：根据输入的文本描述生成高质量的图像。

- **图像到图像**：对输入的图像进行编辑和修改，生成新的图像。

- **混合训练**：支持图像生成和理解任务的混合训练，提高模型的综合性能。

## BLIP3-o的技术原理

- **自回归模型与扩散模型的结合**：自回归模型生成中间视觉特征，捕捉文本描述中的语义信息。扩散模型生成最终的图像。扩散模型基于逐步去除噪声生成图像，生成高质量且多样化的图像。

- **CLIP特征扩散**：用CLIP模型对图像进行编码，生成语义丰富的特征向量。特征向量比传统的VAE特征更紧凑且信息量更大。基于扩散模型对CLIP特征进行建模，生成与目标图像特征相似的特征向量，实现高质量的图像生成。

- **顺序预训练策略**：首先对模型进行图像理解任务的预训练，确保模型具备强大的图像理解能力。在图像理解预训练的基础上，冻结自回归模型的权重，仅对扩散模型进行训练，实现高效的图像生成。

- **流匹配损失函数**：用流匹配损失函数训练扩散模型，损失函数能更好地捕捉图像特征的分布，生成更高质量的图像。流匹配损失函数引入随机性，让模型能生成多样化的图像，不仅仅是单一的输出。

- **指令调整数据集**：基于[GPT-4o](https://ai-bot.cn/openai-gpt-4o/)生成的多样化提示，创建一个包含60k高质量提示图像对的数据集，用在微调模型，提高指令遵循能力和视觉审美质量。

## BLIP3-o的项目地址

- **GitHub仓库**：[https://github.com/JiuhaiChen/BLIP3o](https://github.com/JiuhaiChen/BLIP3o)

- **HuggingFace模型库**：[https://huggingface.co/BLIP3o](https://huggingface.co/BLIP3o)

- **arXiv技术论文**：[https://arxiv.org/pdf/2505.09568](https://arxiv.org/pdf/2505.09568)

## BLIP3-o的应用场景

- **图像生成与编辑**：根据文本描述生成或修改图像，辅助设计和创意工作。

- **视觉问答**：理解图像内容并回答相关问题，可用于教育和智能客服。

- **多模态对话**：结合图像和文本进行对话，提升交互体验。

- **图像标注与分类**：自动生成图像标签和进行分类，优化图像管理。

- **艺术与创意**：生成艺术图像，激发创作灵感，满足个性化需求。

## 常见问题解答 (FAQ)

### BLIP3-o 和普通文生图模型有什么区别？
BLIP3-o 不只是文生图，它把图像理解和图像生成统一到一个多模态框架中。模型结合自回归推理与扩散生成，并使用 CLIP 语义特征，既能理解图像，也能生成和编辑图像。

### BLIP3-o 为什么强调 CLIP 特征而不是 VAE 特征？
因为 CLIP 特征更偏语义表达，信息更丰富、表示更紧凑，适合做高质量图像生成的中间表征。文章提到它不依赖传统 VAE 特征或原始像素，而是基于扩散来建模 CLIP 图像特征。

### BLIP3-o 适合哪些实际应用场景？
它适合文本到图像生成、图像编辑、视觉问答、多模态对话、图像标注与分类，以及艺术创意辅助等场景。由于模型开源，也适合研究人员和开发者做二次开发与微调。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
