# xGen-MM – Salesforce推出的开源多模态AI模型

- Link: https://paooo.com/aigc-news/27386/
- Published: 2026-07-09T12:47:00+08:00
- Author: 站外新闻

## xGen-MM是什么

xGen-MM是Salesforce推出的一款开源多模态AI模型，具有处理交错数据的能力，能同时理解
和生成文本、图像等多种数据类型。xGen-MM通过学习大量的图片和文字信息，不仅在视觉语言
任务上展现出强大的性能，还通过开源模型、数据集和微调代码库，促进模型能力的不断提升。

阅读目录

 * [xGen-MM是什么](https://paooo.com/aigc-news/27386/#xgenmm%e6%98%af%e4%bb%80%e4%b9%88)
 * [xGen-MM的主要功能](https://paooo.com/aigc-news/27386/#xgenmm%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [xGen-MM的项目地址](https://paooo.com/aigc-news/27386/#xgenmm%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [xGen-MM的技术原理](https://paooo.com/aigc-news/27386/#xgenmm%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [xGen-MM的应用场景](https://paooo.com/aigc-news/27386/#xgenmm%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![xGen-MM](https://paooo.com/wp-content/uploads/2026/07/xGen-MM-website-1.avif)

## xGen-MM的主要功能

 * **多模态理解**：xGen-MM能同时处理和理解图像和文本信息，支持回答关于视觉内容的
   问题。
 * **大规模数据学习**：通过大量多样化的数据训练，xGen-MM能捕捉到丰富的视觉和语言
   模式。
 * **高性能生成**：xGen-MM不仅能理解输入信息，还能生成文本，比如根据一张图片编写
   描述或回答。
 * **开源可访问**：xGen-MM的模型、数据集和代码是开源的，研究人员和开发者可以自由
   地访问和使用这些资源来构建自己的应用。
 * **微调能力**：用户可以根据自己的特定需求对xGen-MM进行微调，适应不同的应用场景。

## xGen-MM的项目地址

 * **GitHub仓库**：[https://github.com/salesforce/LAVIS/tree/xgen-mm](https://github.com/salesforce/LAVIS/tree/xgen-mm)
 * **Hugging Face模型库**：[https://huggingface.co/Salesforce/xgen-mm-phi3-mini-instruct-interleave-r-v1.5](https://huggingface.co/Salesforce/xgen-mm-phi3-mini-instruct-interleave-r-v1.5)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2408.08872](https://arxiv.org/pdf/2408.08872)

## xGen-MM的技术原理

 * **多模态学习**：xGen-MM通过训练能够同时理解图像和文本数据，实现视觉和语言信息
   的融合。
 * **大规模数据集**：模型在大规模、多样化的数据集上进行训练，数据集包含丰富的图像
   和相应的描述。
 * **视觉令牌采样器**：xGen-MM使用高效的视觉令牌采样器（如Perceiver架构）来处理图像
   数据，支持模型以可扩展的方式处理不同分辨率的图像。
 * **预训练语言模型**：结合了预训练的大型语言模型（如Phi-3模型），模型已经在大量
   文本数据上训练，具有强大的语言理解能力。
 * **统一的训练目标**：简化训练过程，通过单一的自回归损失函数来训练模型，专注在多
   模态上下文中预测文本令牌。
 * **指令微调**：模型可以通过指令微调来更好地理解和执行用户的查询，在特定任务上对
   预训练模型进行额外的训练。
 * **后训练优化**：包括直接偏好优化（DPO）和安全性微调，提高模型的有用性、减少幻觉
   效应和提高安全性。
 * **开源和可定制性**：xGen-MM的代码、模型和数据集都是开源的，允许社区成员根据自己
   的需求进行定制和进一步开发。

![xGen-MM](https://paooo.com/wp-content/uploads/2026/07/xGen-MM-website01.avif)

## xGen-MM的应用场景

 * **图像描述生成**：自动为图片生成描述性文字，适用于社交媒体、相册管理等。
 * **视觉问答**：回答有关图像内容的问题，比如在教育或电子商务领域提供产品信息。
 * **文档理解**：解析和理解文档中的图像与文字，适用于自动化文档处理和信息检索。
 * **内容创作**：辅助用户在创作过程中，如自动生成故事板、设计概念图等。
 * **信息检索**：通过图像和文本的结合，提高搜索结果的相关性和准确性。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)