# InfiMM-WebMath-40B – 字节联合中科院开源的超大规模多模态数据集

- Link: https://paooo.com/aigc-news/25233/
- Published: 2026-07-12T17:18:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于 Common Crawl 构建，经过筛选、清洗、去重与标注，规模达到 40B 级别。
 * 融合文本、公式、符号与图像，重点强化多模态模型的数学推理和图文联合理解。
 * 可用于数学题库、学习工具、论文阅读与科学研究等多类应用场景。

## InfiMM-WebMath-40B是什么

InfiMM-WebMath-40B 是字节跳动和中国科学院联合开源的超大规模多模态数据集，旨在提升
多模态模型的图文混合推理能力，在数学领域。数据集从 Common Crawl 中提取，经过严格
的筛选、清洗和标注，包含 2400 万个网页、8500 万个图像 URL 和 400 亿个文本标记，涵
盖了丰富的数学和科学相关内容。InfiMM-WebMath-40B 能显著提升模型在数学推理方面的能力，
在 MathVerse 和 We-Math 等基准测试中取得了优异的成绩。

阅读目录

 * [InfiMM-WebMath-40B是什么](https://paooo.com/aigc-news/25233/#infimmwebmath40b%e6%98%af%e4%bb%80%e4%b9%88)
 * [InfiMM-WebMath-40B的主要功能](https://paooo.com/aigc-news/25233/#infimmwebmath40b%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [InfiMM-WebMath-40B的技术原理](https://paooo.com/aigc-news/25233/#infimmwebmath40b%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [InfiMM-WebMath-40B的项目地址](https://paooo.com/aigc-news/25233/#infimmwebmath40b%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [InfiMM-WebMath-40B的应用场景](https://paooo.com/aigc-news/25233/#infimmwebmath40b%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![InfiMM-WebMath-40B](https://paooo.com/wp-content/uploads/2026/07/InfiMM-WebMath-
40B-website-1.avif)

## InfiMM-WebMath-40B的主要功能

 * **提升数学推理能力**： InfiMM-WebMath-40B 包含大量的数学和科学相关内容，包括文本、
   公式、符号和图像，帮助 MLLMs 学习数学知识，提升其在数学推理方面的能力。
 * **理解多模态信息**： 该数据集是多模态的，包含文本和图像数据，帮助 MLLMs 学习如何
   将文本和图像信息结合起来进行推理，更好地理解复杂的数学概念和问题。
 * **P2 促进模型应用**： 基于 InfiMM-WebMath-40B 预训练的 MLLMs 能更好地应用于数学
   相关的应用程序，例如数学题库、数学学习工具、数学论文阅读和理解等。

## InfiMM-WebMath-40B的技术原理

 * **数据来源**： 基于Common Crawl，包含互联网公开网页内容的大型数据库。
 * **数据筛选**：基于关键词匹配，保留包含数学、公式等特定词汇的页面。 设置阈值条件，
   例如每个文档中至少包含一定数量的 LaTeX 符号。 用 fastText 进行语言过滤，只保留
   中英文内容。
 * **数据提取**：用 Trafilatura 库提取文本内容。 分析网页中的图像 URL，提取与数学
   内容相关的图像。
 * **数据清洗**：用 MinHash 等技术进行去重。 采用基于规则的过滤方法，例如去除包含“
   lorem ipsum”的短文档、过滤掉含有不适当内容的文档及排除包含 Unicode 错误的文档
   等。
 * **数据标注**：用 LLaMA3-70B-Instruct 模型对数学内容进行评分，并用 fastText 分类
   器进行高精度过滤。

## InfiMM-WebMath-40B的项目地址

 * **HuggingFace模型库**：[https://huggingface.co/datasets/Infi-MM/InfiMM-WebMath-40B](https://huggingface.co/datasets/Infi-MM/InfiMM-WebMath-40B)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2409.12568](https://arxiv.org/pdf/2409.12568)

## InfiMM-WebMath-40B的应用场景

 * **数学题库和评估工具**： 开发者训练 MLLMs，使其能够自动生成数学题目、评估学生
   答案并提供反馈，构建智能化的数学题库和评估工具。
 * **数学学习工具和平台**： 帮助 MLLMs 更好地理解数学概念和公式，开发出更智能的数学
   学习工具和平台，例如提供个性化学习建议、解答学生疑问、辅助数学解题等。
 * **数学论文阅读和理解**： MLLMs 提升对数学论文的理解能力，开发出能够自动摘要、
   翻译和解释数学论文的工具。
 * **数学研究**：为数学研究提供数据支持，例如用于训练数学模型、进行数学实验和分析
   数学数据等。
 * **其他科学领域**：  InfiMM-WebMath-40B 包含科学相关的内容，例如物理、化学、生物
   等，训练 MLLMs 理解科学概念、公式和图像，并辅助科学研究和应用。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**中科院 ↗**

中科院：国家最高学术机构，面向AI 综合应用场景提供便捷实用的在线功能支持。

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

InfiMM-WebMath-40B 适合训练什么模型？

它主要适合训练多模态[大模型](https://paooo.com/ai-study/)（MLLMs），尤其是需要图
文混合推理、数学理解和科学内容解析能力的模型，可用于提升数学题目解答、论文阅读和
公式理解表现。

InfiMM-WebMath-40B 的数据规模有多大？

根据文中信息，该数据集从 Common Crawl 提取，包含 2400 万个网页、8500 万个图像 URL
和 400 亿个文本标记，属于超大规模多模态数学数据集。

InfiMM-WebMath-40B 能用于哪些实际场景？

可用于数学题库与评估工具、数学学习平台、数学论文阅读与理解、数学研究，以及物理、
化学、生物等科学领域的多模态应用开发。

🔬 语宙深潜追问 · 进阶实操拆解

这类数据集如何提升图文推理？

关键是把网页文本、图像和公式对齐成可监督样本，并加入难例与跨模态链式推理任务；训练
时要控制噪声比例，避免模型只学到表面关联，真正提升图文混合推理能力。

如何判断数据集是否适合继续扩容？

看三件事：基准是否持续涨、错误类型是否从知识缺失转向推理失误、以及新增数据的边际
收益是否下降。若噪声带来的收益低于清洗成本，就该转向高质量重标注和任务重采样。

🗳️ 读者观点微投票 · 您的实战立场是？

超大多模态数学数据集，值不值得堆量？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [MV-MATH – 中科院推出的基准数据集，评估模型处理多视觉信息的数学推理能力](https://paooo.com/aigc-news/21084/)
 * [LongDocURL – 中科院联合淘天集团推出的多模态长文档理解基准数据集](https://paooo.com/aigc-news/23445/)
 * [Infinity-MM – 智源推出的千万级多模态指令数据集](https://paooo.com/aigc-news/25742/)
 * [Qwen2.5-Math – 阿里Qwen团队开源的数学专项模型，超越GPT-4o](https://paooo.com/aigc-news/26826/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25233/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)