# Infinity-MM – 智源推出的千万级多模态指令数据集

- Link: https://paooo.com/aigc-news/25742/
- Published: 2026-07-16T02:48:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 4300万条、10TB级多模态指令数据，经过过滤去重后显著提升开源VLM训练质量。
 * 通过开源VLM与图像注释生成合成指令，扩充数据规模并增强任务多样性。
 * Aquila-VL-2B基于Infinity-MM训练，在同规模模型中取得最先进性能。

## Infinity-MM是什么

Infinity-MM是智源研究院推出的千万级多模态指令数据集，包含4300万条样本，数据量达10TB。
数据集经过质量过滤和去重，确保高质量和多样性，能提升开源视觉-语言模型（VLMs）的性能。
智源推出基于开源VLMs的合成数据生成方法，进一步扩充数据集规模和多样性。基于Infinity-
MM，智源成功训练20亿参数的多模态模型Aquila-VL-2B，在同规模模型中取得最先进的性能。

阅读目录

 * [Infinity-MM是什么](https://paooo.com/aigc-news/25742/#infinitymm%e6%98%af%e4%bb%80%e4%b9%88)
 * [Infinity-MM的主要功能](https://paooo.com/aigc-news/25742/#infinitymm%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Infinity-MM的技术原理](https://paooo.com/aigc-news/25742/#infinitymm%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Infinity-MM的项目地址](https://paooo.com/aigc-news/25742/#infinitymm%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Infinity-MM的应用场景](https://paooo.com/aigc-news/25742/#infinitymm%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Infinity-MM](https://paooo.com/wp-content/uploads/2026/07/Infinity-MM-website-
1.avif)

## Infinity-MM的主要功能

 * **提升开源模型性能**：Infinity-MM基于提供大规模和高质量的指令数据，提高开源视觉-
   语言模型（VLMs）的性能，接近或达到闭源模型的水平。
 * **数据集构建**：包含4300万条经过严格筛选和去重的多模态样本，覆盖视觉问答、文字
   识别、文档分析和数学推理等多种类型。
 * **合成数据生成**：基于开源VLMs和详细的图像注释，生成与图像内容紧密相关的多样化
   指令，扩充数据集规模和提升数据多样性。
 * **模型训练与评估**：Infinity-MM数据集用在训练一个20亿参数的VLM，Aquila-VL-2B，
   模型在多个基准测试中显示出卓越的性能。
 * **推动多模态研究**：基于提供大规模的高质量数据集，促进多模态AI领域的研究和应用
   发展。

## Infinity-MM的技术原理

 * **数据收集与预处理**：Infinity-MM的数据来源于多个公开数据集，经过去重和质量过滤，
   确保数据集的高质量和多样性。
 * **合成数据生成方法**：
    - **图像和指令标记系统**：用开源的识别模型（如RAM++）对图片进行自动打标，提取
      关键信息，形成图像的语义基础。
    - **指令标签体系**：设计一个三级指令标签体系，涵盖不同层次和种类的指令。
    - **图片与指令标签对应关系建立**：统计图片标签与指令标签之间的对应关系，快速
      检索匹配的指令任务标签。
 * **问题生成与过滤**：指示模型根据图片和指令类型生成具体问题，进行合理性判断。
 * **答案生成与过滤**：生成问题后，进一步生成相应的指令回答，进行严格过滤，确保与
   图片内容或任务的匹配性。
 * **分阶段训练策略**：Aquila-VL-2B模型基于分阶段训练方法，逐步提升模型对视觉信息
   的理解和处理能力。
 * **多模态架构**：Aquila-VL-2B模型基于LLaVA-OneVision架构，结合文本塔（Qwen2.5-
   1.5B-instruct）和视觉塔（Siglip400m）。
 * **训练效率提升**：智源自研的FlagScale框架对模型训练进行适配，提高训练效率，是
   原版基于DeepSpeed训练代码的1.7倍。

## Infinity-MM的项目地址

 * **HuggingFace模型库**：[https://huggingface.co/datasets/BAAI/Infinity-MM](https://huggingface.co/datasets/BAAI/Infinity-MM)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2410.18558](https://arxiv.org/pdf/2410.18558)

## Infinity-MM的应用场景

 * **视觉问答（Visual Question Answering, VQA）**：基于图像和相关问题的配对数据，
   训练模型理解和回答关于图像内容的问题。
 * **图像字幕生成（Image Captioning）**：为图片生成描述性的文本，在社交媒体、内容
   管理和图像检索等领域有广泛应用。
 * **文档理解和分析（Document Understanding and Analysis）**：提取和理解文档中的
   视觉和文本信息，适用于自动化办公、智能文档处理和信息提取。
 * **数学和逻辑推理（Mathematical and Logical Reasoning）**：训练模型解决数学问题
   和逻辑推理任务，对于教育技术、自动化测试和智能辅导系统非常有用。
 * **多模态交互系统（Multimodal Interaction Systems）**：结合视觉和语言信息，提升
   人机交互的自然性和效率，适用于智能助手和客户服务机器人。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

**DeepSpeed ↗**

微软开源的低成本实现类似ChatGPT的模型训练。

❓ 常见问题解答（FAQ）

Infinity-MM数据集有什么用？

Infinity-MM主要用于提升开源视觉-语言模型的训练效果。它提供大规模、高质量的多模态
指令数据，覆盖视觉问答、文字识别、文档理解和数学推理等任务，可帮助模型接近或达到
闭源模型水平。

Infinity-MM包含多少数据？

文章信息显示，Infinity-MM包含4300万条样本，数据量约10TB。数据经过去重和质量过滤，
并结合合成数据生成方法扩充规模与多样性。

Aquila-VL-2B为什么表现更好？

Aquila-VL-2B基于Infinity-MM进行分阶段训练，并采用LLaVA-OneVision架构，结合Qwen2.5-
1.5B-instruct文本塔和Siglip400m视觉塔，再配合FlagScale提升训练效率，因此在同规模
模型中取得领先表现。

🔬 语宙深潜追问 · 进阶实操拆解

大规模合成数据真能提升VLM吗？

能，但前提是任务覆盖足够广、标注格式足够统一。Infinity-MM 这类数据集的价值在于把
OCR、文档、数学和 VQA 串起来，让模型学到更强的通用对齐能力；如果合成噪声太大，收益
会迅速下降。

开源VLM训练时如何用好这类数据？

建议先做数据分层：高质量真实数据打底，合成数据补覆盖，再按任务比例混合训练。还要
定期做小规模人工评测，重点看长文本理解、图文对齐和推理稳定性，避免只在榜单上好看。

🗳️ 读者观点微投票 · 您的实战立场是？

千万级多模态数据集，关键是量还是质？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Long-VITA – 腾讯优图联合南大、厦大开源的多模态模型](https://paooo.com/aigc-news/21967/)
 * [OmniAlign-V – 上海交大联合上海 AI Lab 等推出的高质量数据集](https://paooo.com/aigc-news/21321/)
 * [LongVILA – 面向长视频理解的视觉语言AI模型](https://paooo.com/aigc-news/27141/)
 * [09-18 AIGC 早报](https://paooo.com/aigc-morning/4565/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25742/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)